在算力新時代，從通用計算到智算，CPU可以做更多，價值也更加凸顯。

作為一種基于人工智能（AI）技術的計算方式，其含義既包含了AI，還包含了對高性能算力的要求。

擁抱大模型不容易

ChatGPT的橫空出世拉開了AI大模型的新時代，而近期的文生視頻模型SORA又讓業界為之激動不已。據了解，Sora所需token（文本處理最小單位）數量相較于文本及圖片模型的推理呈數量級增長。經中信證券簡單估算，對于一個60幀的視頻（約6至8秒），Sora要生成至少約120萬個token，這是相當大的計算量。

科技爆炸的背后需要算力膨脹來匹配，大型AI模型的興起帶來了對智能計算能力的積極需求，于是，我們看到業界在算力基礎設施方面進行積極布局，芯片需求得到極大釋放，但是現實卻有點不盡如人意。

網上信息顯示，以OpenAI在GPT-3模型為例，該模型擁有1750億個參數，需要龐大算力，訓練成本高達1650萬美元。使用GPT-3開發的ChatGPT在推論方面的成本更高，每月燒掉4千萬美元 。這不僅大大增加了企業成本，對地球資源、環境可持續發展性也可能產生影響。

被廣泛應用于人工智能的訓練、推理、科學計算等領域的GPU似乎成為頂流，并且愈發呈現出“一卡難求”的趨勢。但是對于實際的企業AI落地應用而言，真的無法低成本擁抱大模型了嗎？業務場景的需求對AI算力要求幾何？如何挖掘現有算力潛能？

俗話說，“自古華山一條道”，但是對于算力芯片卻不是，特別是對于大語言模型（以下簡稱：LLM）推理，CPU在某些場景下其實更適合。

為什么選擇CPU？

相比GPU，CPU此前在LLM的熱度表現并不算高，業界往往認為CPU在AI時代已經“過時”。

但事實并非如此。

大模型通常都分為訓練和推理兩個階段，在訓練環節需要處理海量數據，因此對算力性能要求較高；但推理階段不僅幾乎貫穿業務全流程，對算力的要求也沒有那么高，隨著CPU性能的提升，在部分場景下用CPU來完成AI推理工作對企業來說是更加適合的選擇。

一方面，CPU資源更容易獲取，也不需要導入異構硬件平臺，額外進行相關人才的儲備，更容易實現廣泛部署；另外，充分利用現有IT設施有助于TCO（總體擁有成本）優化，以用更低的成本實現更優的性能表現。

其次，通過分布式的解決方案，能夠有效解決CPU計算速度的問題。CPU甚至可以支持幾百GB的內存，能夠輕松應付甚至70B的LLM ，而且CPU的特性是通用和靈活，以及在軟件兼容性方面的多年積累，在承載和部署人工智能應用工作負載方面更具優勢。

這就是CPU的破局，選擇CPU進行LLM探索逐漸成為企業的新選擇。

近年來，隨著大模型的迅速發展，光學字符識別（OCR）技術已成為LLM的重要入口。亞信科技就在自家OCR-AIRPA方案中采用了CPU作為硬件平臺，實現了從FP32到INT8/BF16的量化，從而在可接受的精度損失下，增加吞吐量并加速推理。將人工成本降至原來的1/5到1/9，效率還提升了約5-10倍。

深耕醫療行業多年，已幫助多家三甲醫院推進信息化和數字化建設的衛寧健康就選擇與英特爾合作，通過軟硬適配、優化模型算法等手段，成功在CPU（第五代至強^? 可擴展處理器）上提升了面向醫療垂直領域的大模型WiNGPT的性能，讓基于它的AI應用的交付、部署和應用更為高效便捷，能在任何一家已使用衛寧WiNEX系統的醫院迅速上崗。

第五代至強^? 可擴展處理器每個內核均具備AI加速功能，無需添加獨立加速器，即可處理要求嚴苛的端到端AI工作負載。英特爾^? 高級矩陣擴展（英特爾^? AMX）為矩陣運算的加速提供了強大支持，可支持BFloat16和INT8兩種數據類型，完全有能力處理要求嚴苛的AI工作負載。

相比同樣內置AMX的第四代至強^? 可擴展處理器，得益于自身在微架構和整體性能上的提升，五代^? 至強的推理性能提升高達42%。

目前，LLM更多是云端部署，但是由于涉及隱私安全，本地部署LLM的需求也越發強烈。針對會議摘要、文章總結等離線場景，百億參數的LLM就可以完全勝任，CPU的性能就可以運行，成本優勢更加明顯，還能降低部署成本。

更強通用計算，兼顧AI加速

當然，AI不是只有大模型， 英特爾^? 至強^? 可擴展處理器除了持續在CPU加速AI這條路上深耕，也一直在持續挖掘CPU在通用計算領域的價值。

與前一代產品相比，第五代英特爾^? 至強^? 可擴展處理器有高達1.84倍的平均性能提升，可在進行通用計算時將整體性能提升高達21%，并在一系列客戶工作負載中將每瓦性能提升高達36%。

例如制造領域在高度精細且較為耗時的瑕疵檢測環節，部分企業就復用了既有的CPU平臺，構建了橫跨“云-邊-端”的AI 缺陷檢測方案。為了達到更好的應用效果，在使用計算機視覺方案之外，還可以融入深度學習和機器學習的技術，構建三者混合模式的方案。

星環科技則基于第五代至強^? 可擴展處理器推出了Transwarp Hippo 分布式向量數據庫解決方案，實現了約2倍的代際性能提升，可有效滿足大模型時代海量、高維向量的存儲和計算需求。

數據作為AI三駕馬車之一，其重要性自然不言而喻。除了可用作向量數據庫這一種，對于處理數據時候可能涉及的邏輯運算、內存操作，第五代英特爾^? 至強^? 可擴展處理器也可以提供充足的支持。它可以將壓縮/解壓縮和數據傳輸等資源密集型任務從CPU內核卸載至內置的英特爾^? 數據分析引擎，釋放數據分析和數據庫運行的時鐘周期，以提高每秒事物處理量，用戶可以在每臺服務器上擴展容量或運行更多應用。

結合第五代英特爾^? 至強^? 可擴展處理器更快的內存和更大的三級緩存，英特爾^? 存內分析加速器（英特爾^? IAA）和英特爾^? 數據流加速器（英特爾^? DSA）能夠在提高查詢吞吐量的同時，進行數據復制和轉換操作，從而實現內存數據庫、大數據分析和數據倉庫的性能提升。

AI對隱私計算的需求也在增加，英特爾^? 可信域擴展（英特爾^? TDX）提供虛擬機（VM）層面的隔離和保密性，從而增強隱私性和對數據的管理。在基于英特爾^? TDX的機密虛擬機中，客戶機操作系統和虛擬機應用被隔離開來，而不會被云端主機、虛擬機管理程序和平臺的其他虛擬機訪問。

此外，英特爾還在軟件創新方面持續發力，以確保現有的人工智能框架和應用能夠充分發揮硬件潛力，從而加速行業的發展。

英特爾提供了完善的人工智能軟件生態方案和工具鏈，不僅持續為主流開源框架PyTorch、TensorFlow等貢獻力量，還提供了多種針對英特爾平臺的優化插件，如IPEX（Intel^? Extension for PyTorch）、ITEX（Intel^? Extension for TensorFlow）等，以及xFT（xFasterTransformer）、OpenVINO? 工具套件等多種優化工具。這些技術可極大地提升AI性能，包括LLM、文字生成圖片Stable Diffusion等，未來的熱門方向——文字生成視頻，同樣能夠從中受益。

IPEX配合PyTorch，支持PyTorch框架下90%的主流模型，其中深度優化模型有50個以上。客戶只要通過簡單幾步即可完成BF16混合精度轉換，模型即可在保持精度的同時在CPU上高效部署。

結語

多年來，英特爾一直不遺余力地進行軟硬件創新，為了迎合人工智能時代對算力的渴求，不斷推陳出新，提供更加強大、更加先進的CPU處理器和其他硬件方案。

CPU運行LLM并不是“癡人說夢”，因為CPU在進化一直在進行，得益于硬件級創新和借助軟件充分挖掘硬件性能，英特爾為AI時代的算力基礎設施提供了新的選擇機會。

我想客戶和市場也是樂見其成的，畢竟這是一個雙贏的結果。市場不希望單一的選擇，而是多樣化的選擇。這就像x86的發展一樣，開放帶來產業的繁榮。

在生成式AI和LLM狂奔的同時，CPU也在與時俱進，讓自己適配客戶需求和選擇。依托軟硬件和生態協同，CPU正在迎來新的高光時刻，推動人工智能行業邁向新的高度，展現出無限的潛力與可能性。