新聞重點(diǎn)：

·Arm通過把Kleidi技術(shù)集成到PyTorch和ExecuTorch，將關(guān)鍵的AI性能優(yōu)勢(shì)從邊側(cè)拓展至云端，賦能新一代應(yīng)用在Arm CPU上運(yùn)行大語(yǔ)言模型。

·對(duì)普及ML工作負(fù)載的持續(xù)投入將使任一技術(shù)棧的開發(fā)者能夠在最新的生成式AI模型上即刻獲得顯著的推理性能提升。

·通過擴(kuò)大與云服務(wù)提供商以及主要的ML獨(dú)立軟件開發(fā)商合作，進(jìn)一步賦能全球的AI開發(fā)者。

Arm控股有限公司納斯達(dá)克股票代碼：ARM，以下簡(jiǎn)稱“Arm”近期宣布通過將Arm Kleidi技術(shù)集成到PyTorch和ExecuTorch，賦能新一代應(yīng)用在Arm CPU上運(yùn)行大語(yǔ)言模型LLM。Kleidi匯集了最新的開發(fā)者賦能技術(shù)和關(guān)鍵資源，旨在推動(dòng)機(jī)器學(xué)習(xí)ML技術(shù)棧中的技術(shù)協(xié)作和創(chuàng)新。通過這些重要進(jìn)展，Arm致力于為任一ML技術(shù)棧的開發(fā)者提供更為順暢的體驗(yàn)。

Arm戰(zhàn)略與生態(tài)部開發(fā)者技術(shù)副總裁Alex Spinelli表示：“Arm正與領(lǐng)先的云服務(wù)提供商和框架設(shè)計(jì)者緊密合作，以打造便捷的開發(fā)環(huán)境，讓軟件開發(fā)者能夠輕松地在基于Arm架構(gòu)的硬件上加速人工智能AI和ML工作負(fù)載。自該技術(shù)推出的四個(gè)月以來，Kleidi已在Arm CPU上加速開發(fā)并顯著提升主要的AI性能。Arm與PyTorch社區(qū)的緊密合作印證了該技術(shù)可以大大減少開發(fā)者利用高效AI所需的工作量?！?/p>

與領(lǐng)先框架集成，實(shí)現(xiàn)顯著云端優(yōu)勢(shì)

在云端，Kleidi以利用Arm Compute LibrariesACL增強(qiáng)PyTorch帶來的成果為基礎(chǔ)，為世界各地在Arm平臺(tái)上優(yōu)化AI的開發(fā)者打造藍(lán)圖。通過為開發(fā)者免去不必要的工程工作，以便開發(fā)者能將Arm視為運(yùn)行其關(guān)鍵ML工作負(fù)載的首選平臺(tái)。作為實(shí)現(xiàn)這一愿景的關(guān)鍵一步，Arm直接與PyTorch和TensorFlow進(jìn)行Arm Kleidi Libraries的集成合作，這包括將基本的Arm軟件庫(kù)直接集成到上述的領(lǐng)先框架中。

重要的是，這意味著當(dāng)新的框架版本發(fā)布時(shí)，應(yīng)用開發(fā)者能夠自動(dòng)從其大幅的性能提升中受益，而無需額外在Arm平臺(tái)上重新編譯。這項(xiàng)投入已對(duì)合作伙伴關(guān)系產(chǎn)生了積極影響：

·Arm聊天機(jī)器人演示由Meta Llama 3 LLM驅(qū)動(dòng)，并運(yùn)行在亞馬遜云科技AWS Graviton處理器上，首次在主線PyTorch中實(shí)現(xiàn)了實(shí)時(shí)聊天響應(yīng)。

o根據(jù)在AWS Graviton4上所測(cè)得的數(shù)據(jù)顯示，通過將Kleidi技術(shù)集成到開源PyTorch代碼庫(kù)，詞元token首次響應(yīng)時(shí)間可提高2.5倍。

·通過優(yōu)化torch.compile以充分利用通過ACL提供的Kleidi技術(shù)，在基于AWS Graviton3上所測(cè)得的數(shù)據(jù)顯示，各類Hugging Face模型推理工作負(fù)載上的性能可提升1.35至2倍。

這些僅是出色的云端示例之一，卻代表了在Arm平臺(tái)上普及ML工作負(fù)載時(shí)可實(shí)現(xiàn)的性能加速類型。Arm將持續(xù)投入，以確保開發(fā)者的AI應(yīng)用可以在其技術(shù)上從云到邊都能完美運(yùn)行，其中包括實(shí)現(xiàn)新功能的向前兼容，進(jìn)而使得開發(fā)者能夠即刻從中受益。

合作助力開發(fā)者緊跟生成式AI發(fā)展步伐

隨著新的語(yǔ)言模型版本快速地推陳出新，生成式AI掀起了一波AI創(chuàng)新熱潮。Arm持續(xù)與ML技術(shù)棧的各個(gè)關(guān)鍵環(huán)節(jié)緊密合作，攜手AWS和Google等云服務(wù)提供商以及Databricks等迅速壯大的ML獨(dú)立軟件開發(fā)商ISV社區(qū)，進(jìn)而幫助開發(fā)者立于技術(shù)前沿。

Google Cloud Compute產(chǎn)品管理高級(jí)總監(jiān)Nirav Mehta表示：“Arm和Google Cloud致力于為開發(fā)者提升AI的可訪問性和敏捷性，而Kleidi代表了通過軟硬件協(xié)同優(yōu)化滿足AI需求所取得的重要進(jìn)展。隨著我們的客戶正積極采用基于Arm架構(gòu)的定制CPU —— Axion，我們期待在整個(gè)ML技術(shù)棧中為客戶帶來更加順暢的集成體驗(yàn)?！?/p>

Databricks軟件工程師Lin Yuan表示：“利用Databricks Data Intelligence Platform進(jìn)行AI和ML工作流的企業(yè)，將受益于跨ML軟件棧的Arm Kleidi集成所帶來的性能優(yōu)化。借助由Databricks ML Runtime集群提供支持的Arm架構(gòu)AWS Graviton處理器，企業(yè)可以從各種ML軟件庫(kù)的加速中受益，同時(shí)降低云服務(wù)提供商的成本。”

協(xié)助開發(fā)者將Arm提供的資源應(yīng)用到實(shí)際用例中至關(guān)重要，為此Arm創(chuàng)建示例軟件棧和學(xué)習(xí)資源，向開發(fā)者展示如何在Arm CPU上構(gòu)建AI工作負(fù)載，進(jìn)而迅速推動(dòng)了Arm系統(tǒng)的廣泛采用，并加快了開發(fā)者在Arm系統(tǒng)上的部署速度。第一個(gè)案例是通過Kleidi技術(shù)加速聊天機(jī)器人的實(shí)現(xiàn)，今年晚些時(shí)候ML Ops和檢索增強(qiáng)生成RAG也將添加至這些用例，并計(jì)劃在2025年實(shí)現(xiàn)更多成果。

持續(xù)提升端側(cè)性能

基于Kleidi在端側(cè)的發(fā)展勢(shì)頭，KleidiAI還將被集成到ExecuTorchPyTorch新的端側(cè)推理運(yùn)行時(shí)。這項(xiàng)集成預(yù)計(jì)將于2024年10月完成，并有望為目前正在ExecuTorch中進(jìn)行生產(chǎn)測(cè)試或?qū)崿F(xiàn)的端側(cè)應(yīng)用帶來顯著的性能提升。目前已完成的多項(xiàng)KleidiAI集成包括與Google XNNPACK和MediaPipe，以及騰訊的混元大模型，為其實(shí)際工作負(fù)載帶來了顯著提升。

Kleidi將繼續(xù)與PyTorch和ExecuTorch的各版本以及其他主要AI框架進(jìn)行集成。從云數(shù)據(jù)中心到端側(cè)設(shè)備，開發(fā)者現(xiàn)在可以即刻在各類設(shè)備上基于Arm平臺(tái)高效運(yùn)行高性能AI工作負(fù)載。Arm將繼續(xù)積極地面向PyTorch社區(qū)推出增強(qiáng)功能，并專注于針對(duì)各種整數(shù)格式提供量化優(yōu)化，進(jìn)一步提高性能，賦能Arm CPU大規(guī)模無縫運(yùn)行新一代AI體驗(yàn)。

實(shí)現(xiàn)更多成果以賦能開發(fā)者

PyTorch正在推動(dòng)ML開發(fā)領(lǐng)域的開拓創(chuàng)新。近日，Arm加入PyTorch基金會(huì)成為Premier成員，這對(duì)于Arm的AI之旅來說，無疑是一個(gè)重要時(shí)刻。Arm將持續(xù)致力于賦能全球各地的開發(fā)者在Arm平臺(tái)上充分發(fā)揮端到端AI的潛力，進(jìn)而塑造前沿的AI和應(yīng)用功能。

附加資源：

關(guān)于Kleidi:

Kleidi古希臘語(yǔ)中意為“鑰匙”基于三大關(guān)鍵支柱而構(gòu)建：

·開放的Arm技術(shù)直接集成至關(guān)鍵框架中，開發(fā)者無需任何額外工作，便能使LLM無縫取得Arm CPU性能。Arm將確保新技術(shù)始終向前兼容，以便開發(fā)者可以立即從中受益。

·通過提供使用指南、學(xué)習(xí)資源和技術(shù)演示等各種資源賦能開發(fā)者。

·借助由ML軟件供應(yīng)商、框架和開源項(xiàng)目所構(gòu)成的活力十足的生態(tài)系統(tǒng)，從中取得各類最新的AI功能，讓Arm平臺(tái)成為開發(fā)者構(gòu)建解決方案的首選平臺(tái)。