??在移動AI這條道路的探索上，高通既是啟蒙者，又是見證者。
無論是小米澎湃OS、OriginOS 4還是ColorOS 14，如果你關注過最近這段時間國內主流手機品牌集中發布的新版系統，會發現AI已經成為發布會PPT上“躲不開，繞不過”的關鍵詞，而且屬于提及頻率最高的那一檔。實際上，這還不是最“過分”的，在今年Google I/O大會上以劈柴哥Sundar Pichai為代表的一眾高管，在短短的2個小時主題演講中就提及了超過140次AI，頻率高達平均1.17次/分鐘，在官網上，Google甚至將新一代Pixel 8系列言簡意賅地稱為“由Google AI與最好的Pixel相機打造的最強大、最貼心的Pixel手機”。
突然間，屬于智能手機的移動AI時代到來了。
當然如果細究的話，今年手機廠商們口中的“AI”與往年消費者偶爾聽到或者在相機界面里看到的那些“AI”還不太一樣，今年的AI專指“AI大模型”這個隨ChatGPT火到已經泛濫的概念，是一種基于生成式AI技術的大語言/大視覺模型，主要用于圖文相關的自然語義理解、處理乃至于創作生成——即與AI大模型概念同樣大熱的AIGC概念。換句話說，這陣AI風潮本質上是手機廠商集中落地AI大模型所引起的市場“躁動”，而點燃這份躁動的正是以第三代驍龍8為代表的新一代移動SoC平臺，它們為AI大模型落地移動端掃清了最為關鍵的一道硬件障礙，也填上了移動設備真正邁入AI時代最后一塊拼圖。
從看照片到大模型 移動AI的演進之路
盡管許多消費者今年才對移動端的AI有所耳聞，但其實AI在移動端的應用探索已經持續了很多年，以高通為例，早在十年前也就是2013年就推出了名聲大噪的AI芯片Zeroth和SNN架構——彼時高通也同步提出了神經處理單元(NPU)的概念，2014年高通進一步收購了AI圖像識別技術公司Euvision進一步探索AI在移動端的潛在用例，并在隨后將源于Zeroth的AI加速架構引入了2015年推出的驍龍820移動平臺的設計之中，以此奠定了驍龍系列高通AI引擎的基礎，高通內部也將驍龍820視為搭載高通“第一代AI引擎”的移動平臺。不過彼時移動SoC市場還未流行AI的說法，高通也未進行過這方面的宣傳，所以這就造成了當2018年NPU概念興起之后，許多消費者產生了此時高通才在移動AI賽道上發力的“錯覺”，但實際上，高通早在2007年就啟動了首個AI研究項目，掐指一算，從懵懂獨行到行合趨同，高通在AI上探索已經歷經十七載，基本完整覆蓋了整個智能手機發展史。
所以，在移動AI這條道路上，高通既是啟蒙者，又是見證者。
說到這里，我們也可以從AI這一概念在移動端的經歷窺知移動AI發展之路上最大的阻礙——缺乏用例。相信不少消費者在2019年前后通過NPU的大名，或者沖著看似相當美好的AI宣傳入手了新機，但在系統中卻難以發現AI存在的蹤跡，印象中還有廠商趁著當時歌曲《卡路里》的熱度絞盡腦汁推出了類似“識食物得卡路里”的比較尷尬的AI功能，這也導致當初諸多探索的AI功能中，似乎只有相機的AI場景識別留存至今。行業最初在移動AI用例上的探索主要集中在機器視覺與圖像識別，但也正因如此導致曲高寡，以至于無法貼近用戶日常生活而一直不得要領。
但以ChatGPT為代表的生成式AI帶來了顛覆性的變革，讓行業看到了AI大模型所蘊含的潛力。AI大模型其中的AI指代的自然是人工智能，而這個人工智能則是由深度學習算法和人工神經網絡訓練而出的;大模型則是大語言模型，之所以被稱為“大”模型，是因為這類模型參數規模經常數以億計，而語言模型就是通過大量參數預訓練的自然語言處理模型，以生成式AI實現文字的生成、總結、改寫、搜索、回答、聚類、分類等復雜目標。簡單來說，AI大模型就像《猩球崛起》中給予凱撒智力的“ALZ-112”一樣，有著賦予機器自然語義理解——也就是聽懂人話的能力，當一臺可以連接互聯網的手機能聽懂對話與你交流的時候……它的能力上限大多時間只會與產品經理的想象力邊界掛鉤了，這時如何將“大”模型裝進用戶的“小”手機中，就成為AI賦能移動端最大的阻礙，而第三代驍龍8移動平臺正是為此而來。
第三代驍龍8 啟幕2024移動AI元年
目前將AI大模型“塞入”移動端目前的主流做法是云側大模型，即用戶輸入通過云端模型處理后返回結果，優點是對輸入硬件并無要求，也可以利用參數量級較大的模型，ChatGPT、文心一言、Stable Diffusion等一眾知名大模型的to C接口均基于此。但云側大模型會有2個問題，一是全程基于網絡最終效果受限于用戶的連接狀況，這對于主打對話與理解場景的AI大模型而言是一個相當大的不穩定因素，二是不利于用戶隱私安全，數據上云本身就是用戶十分抗拒的事情，如果加以限制又會阻止AI理解用戶，缺乏個性化。最簡單的一個例子就是你可以讓云側大模型為你推薦全球米其林榜單，但卻無法在不上傳位置信息的情況下推薦離自己最近的高評分餐廳。
被形容為“外置器官”的智能手機本身就是用戶個人的一部分，如果讓這個“器官”變為“大腦”，前途不可限量。也正因如此，端側AI大模型的需求呼之欲出，甚至被視為有可能最先“引爆”這一輪AI大模型的殺手級場景。基于這些考量，高通在2023服貿會上發布了《混合AI是AI的未來》白皮書，提出了混合AI的概念——即云端結合，移動端在接入云側大模型的同時，也有必要具備終端側運行大模型的能力，這樣才能分利用手機上的全部數據，借助用戶個人數據持續微調這類神經網絡，能夠帶來更深入的意圖理解和更加個性化的復雜場景服務。也就是說，云側大模型的通識能力要有，端側大模型的個性化能力也要有，這樣才稱得上是健全。
而第三代驍龍8移動平臺正是新一代移動SoC端側AI大模型的領導者之一。高通多年來一直在探索生成式AI，不僅在年初就演示了首次在Android設備上跑通Stable Diffusion，生成AI圖像用時僅15秒，在2023驍龍峰會上，這個時間被進一步壓縮至0.6秒內——低到了一個很不可思議的數量級。這不僅是同類產品中是最快，甚至也可以嵌入相機應用無縫使用中，高通觀察到用戶拍攝間等待閾值為1-2秒，如果運行一次模型需要15秒就失去了實用價值，但如果以0.6秒就可以實現一次運行，就可以讓用戶真正地無成本地去使用它。
之所以能實現如此迅速的生成速度，一方面是因為第三代驍龍8搭載的全新AI引擎實現了性能與能效飛躍，搭載了史上最快的高通Hexagon NPU，比上一代推理速度快98%，每瓦特性能提升40%，支持大模型參數規格從年初的10億量級暴增10倍至100億，可以以20個Token/s的速度進行AI大模型的生成。高通傳感器中樞也引入了下一代微型NPU，將AI性能提升至前代的3.5倍，內存提升30%，在第三代驍龍8的加持下接入大語言模型的AI助手能夠與高通傳感器中樞協同工作，利用位置和活動數據等信息，結合情境提供個性化的回答。
第三代驍龍8之所能提供終端側運行AI大模型的能力，除了本身就極為強悍的AI能力之外，還得益于高通對端側AI大模型發展的觀察、理解與深度參與，一方面是因為模型變得愈來愈好，比如高通發現擁有130億參數的Meta Llama 2模型的表現其實并不遜色于擁有1750億參數的ChatGPT-3模型，這也意味著強大的生成式AI模型正不斷縮小;另一方面高通一直在利用INT4模型進行數據推理，通過INT模型進行量化是因為它的量化效果和效率相比常見的浮點模型更出色，將擁有70億參數的模型量化至INT4模型，與將相同參數規模的模型量化至16FP或32FP浮點模型相比，能夠有效降低內存帶寬占用，讓AI大模型推理更契合移動端的高能效低功耗需求。
可以預見的是，2024年，AI能力——無論是算力規模、每瓦性能、Token生成速度還是調通LLM/LVM的參數量級——都將加入移動SoC“核心規格”的定義之中。
從硬件到軟件 驍龍AI的生態閉環
有了以第三代驍龍8為代表的新一代移動平臺作為端側AI大模型支撐，國內各家早已備好且多次刷榜的自研大模型終于得以落地終端，小米澎湃OS迎來了史上最強的小愛同學大模型，OriginOS 4得以端側加載10億與70億參數的藍心大模型，ColorOS 14也迎來了AndesGPT全新加持。各家對于AI大模型的具體用例百花齊放，包括但不限于支持自然語義理解的語音助手、實時字幕、文檔總結、自動生成腦圖、超能搜索、閃速摳圖、文案生成、風格化圖片、照片背景替換、圖片識別、圖片生成等等等等……端側AI大模型可以把用戶從繁瑣重復的日常操作中解放出來，云側大模型可以基于龐大的模型參數消弭認知差距，填平通識溝壑，讓用戶以好的狀態投入更具創新性的工作之中，這才是人類擅長的事情，這也是生成式AI的真正力量。
為了推動端側AI大模型的普及與混合AI愿景的實現，高通早在去年就推出了高通AI軟件棧，這是一套旨在幫助開發者一次編寫、隨處運行，實現規模化部署的開發工具。高通AI軟件棧全面支持主流AI框架，還集成了推理軟件開發包，比如高通神經網絡處理SDK。支持最新編程語言、虛擬平臺和編譯器，在底層系統軟件集成了基礎的實時操作系統(RTOS)、系統接口和驅動程序，還支持廣泛的操作系統，以及用于部署和監控的基礎設施。高通AI軟件棧還集成了開發工具高通AI Studio，支持從模型設計到優化、部署和分析的完整工作流。它將高通提供的全部工具集成到一個圖形用戶界面，并利用可視化工具以簡化開發者體驗， 支持開發者實時查看模型開發進度，這其中包括高通AI模型增效工具包(AIMET)、AI模型增效工具包模型庫、模型分析器和神經網絡架構搜索。
AI軟件生態之外，多設備協同也是端側AI體驗的進一步延伸，對此，高通擁有一個無可比擬的優勢——數十億計的高通與驍龍平臺保有量，而且智能手機之外還涵蓋了汽車中控、XR、AR、PC以及物聯網設備，其中針對XR設備的全新XR2和AR1片均支持了眼鏡側AI，第一代高通S7音頻系列平臺甚至實現了超過100倍的端側AI性能提升，每年還有數億臺搭載驍龍和高通平臺的終端設備進入市場。高通也為Android廠商與用戶帶來了全新的Snapdragon Seamless跨平臺互聯技術，可實現多臺終端跨多個操作系統無縫連接，共享外設和數據。包括微軟、Android團隊、小米、華碩、榮耀、聯想和OPPO在內的公司正與高通合作，打造Snapdragon Seamless賦能的多終端體驗，Snapdragon Seamless示范用例描繪了相當未來的智能體驗，包括鼠標和鍵盤可在PC、手機和平板電腦上無縫使用，文件和窗口可在不同類型的終端間拖放，耳塞可根據音源的優先級進行智能切換，XR可為智能手機提供擴展功能等等。
總的來說，圍繞第三代驍龍8移動平臺，高通構建了一套完整的AI生態體系，包括性能領先的端側AI引擎搭建的硬件閉環，幫助開發者實現一次編寫規模化部署的高通AI軟件棧的軟件生態，以及挖掘以十億計的設備保有量潛在能力的高通Seamless互聯協議。這一套先進硬件為基石，軟件生態為框架，并輔以跨品牌跨平臺互聯協議填充細節的端側AI生態，是高通在移動端端側AI領域獨一無二的生態優勢，而在即將到來的移動端AI新浪潮中，高通將以此成為啟幕移動智能“芯”時代的重要參與者。
(本文轉載自Vetrax囂張衛視 微博文章)
