5月20日，由深度學習技術及應用國家工程實驗室與百度聯(lián)合主辦WAVE SUMMIT2021深度學習開發(fā)者峰會在北京盛大舉行。百度首次揭曉人工智能融合創(chuàng)新趨勢下的AI工業(yè)大生產實現路徑，飛槳深度學習平臺帶來全新發(fā)布，持續(xù)引領深度學習技術發(fā)展。
峰會上，百度深度學習技術平臺部高級總監(jiān)馬艷軍就飛槳全新發(fā)布與升級展開演講。他表示，年初飛槳正式發(fā)布了開源框架2.0版本，是飛槳發(fā)展歷程中的重要里程碑。2.0版本默認的編程范式由靜態(tài)圖升級為動態(tài)圖，而且實現了動靜統(tǒng)一的設計，很好地兼顧了科研和產業(yè)的需求。目前，飛槳深度學習開源平臺從基礎模型庫、端到端開發(fā)套件到工具組件，都基于框架2.0版本進行了升級，開發(fā)體驗得到了全面提升。2.0版本的大規(guī)模訓練能力持續(xù)突破，參數服務器技術迭代到第三代，是業(yè)內首個通用異構參數服務器架構。最近又發(fā)布了4D混合并行技術，支持超大模型訓練。
此次峰會飛槳框架又迎來了重磅發(fā)布，展示最新的技術成果和開源生態(tài)成就，其關注程度可想而知。接下來，我們來逐一揭秘飛槳開源深度學習平臺從開發(fā)、訓練、部署全鏈路的最新成果。
飛槳開源框架V2.1，技術底座呈破圈之勢
基礎設施一小步，AI上線一大步。
峰會上，飛槳開源框架正式發(fā)布V2.1版本，自動混合精度、動態(tài)圖、高層API等進行了優(yōu)化和增強。尤其是自定義算子功能全面升級，降低開發(fā)者自定義算子的學習與開發(fā)成本。“自定義OP功能優(yōu)化”等升級帶來極強的科研開發(fā)靈活性和擴展能力，產業(yè)應用已從成熟的AI行業(yè)延伸到生物、物理、化學等大科學跨界領域的開發(fā)集成，助力前沿基礎科學研究。
封裝更簡潔、訓練和推理全打通、一鍵編譯、安裝并生成算子API，有效降低了開發(fā)者編寫和使用自定義算子的成本，讓開發(fā)者更加專注于算子計算的本質。深度勢能的分子動力學開源項目(DeePMD-kit)就是一個典型的案例。DeePMD-kit發(fā)布以來，在凝聚態(tài)物理、化學物理、材料理性設計、生物物理、藥物分子設計等領域均得到廣泛應用。DeePMD-kit的社區(qū)開發(fā)者使用飛槳框架的自定義OP功能可以方便地進行計算單元的自定義，加速功能開發(fā)。
開發(fā)上便捷靈活、應用上普適多元。飛槳正在一步步創(chuàng)造領先同行的深度學習開源能力，產業(yè)滲透已呈“破圈”之勢。
大規(guī)模圖檢索引擎，特殊場景的“啟動密碼”
隨著大規(guī)模圖學習在知識圖譜和搜索推薦領域的廣泛應用，大規(guī)模圖模型訓練愈加受到重視，已經成為諸多特殊場景的“啟動密碼”。
飛槳提供了從分布式數據處理、圖檢索、前向反向圖模型計算、多server參數更新的全流程通用分布式能力，形成了大規(guī)模圖模型訓練架構。對于其中圖檢索環(huán)節(jié)，此次發(fā)布的圖檢索引擎，可以高效支持萬億邊的圖存儲和檢索，將圖的鄰接表通過雙層哈希切分方式存放到不同graphserver上。worker端請求graphserver通過圖檢索引擎獲得子圖進行訓練。最后在Intel CPU環(huán)境上實測，可以支持萬億邊圖模型訓練，也很好地支持線性擴展。
這一技術在網易云音樂主播推薦業(yè)務進行了應用。基于大規(guī)模圖檢索引擎和飛槳分布式訓練技術，成功支撐語音主播業(yè)務十億邊的圖模型訓練，通過知識遷移有效解決冷啟動問題，提高主播推薦場景有效播放率。
ERNIE四大預訓練模型，開源家族又添生力軍
模型套件方面，文心ERNIE全新開源發(fā)布 4大預訓練模型，分別是多粒度語言知識增強模型ERNIE-Gram、超長文本理解模型ERNIE-Doc、融合場景圖知識的跨模態(tài)理解模型ERNIE-ViL和語言與視覺一體的模型ERNIE-UNIMO。知識與深度學習相結合實現知識增強的語義理解，不僅僅能理解語言，還可以理解圖像，實現統(tǒng)一的跨模態(tài)語義理解。
ERNIE-Gram提出顯式的n-gram掩碼語言模型，通過引入多粒度語言知識增強預訓練模型效果，5項典型中文文本任務效果顯著超越業(yè)界開源的預訓練模型。
ERNIE-Doc針對篇章長文本建模不充分問題，提出回顧式建模技術和增強記憶模型機制，在13 項長文本理解任務上取得領先效果。
ERNIE-ViL針對跨模態(tài)理解難題，基于知識增強思想，實現了融合場景知識的跨模態(tài)預訓練，在5項跨模態(tài)理解任務上取得效果領先。
ERNIE-UNIMO進一步增強不同模態(tài)間的知識融合，通過跨模態(tài)對比學習，同時提升跨模態(tài)語義理解與生成、文本理解與生成的效果，在13項跨模態(tài)和文本任務上實現領先。
推理部署導航圖，打通AI應用最后一公里
在產業(yè)數字化背景下，AI建設從互聯(lián)網市場向千行百業(yè)邁進，落地成為必然要求。AI能否順利推理部署，已經成為落地成敗的關鍵。飛槳提供全流程的深度學習開發(fā)工具。針對不同的軟硬件部署環(huán)境，飛槳都提供了完善的推理部署工具，并打通了完整的工具鏈。
峰會現場，飛槳多端多平臺推理部署工具鏈發(fā)布全面升級。飛槳模型壓縮工具PaddleSlim模型壓縮升級，優(yōu)化剪枝壓縮技術，新增非結構化稀疏工具，擁有軟硬一體協(xié)同優(yōu)化的能力，結合多種壓縮策略優(yōu)勢，率先支持 OFA 壓縮模式，面向不同部署環(huán)境實現高精度壓縮。飛槳的輕量化推理引擎Paddle Lite也進行了全面升級，兼具穩(wěn)定易用、性能優(yōu)異、多硬件支持諸多特性。針對服務化部署的實際需求，Paddle Serving 新增全異步設計的 Pipeline 模式，可以一個服務啟動10+模型，打破串行設計的約束，提升吞吐量和 GPU 利用率。飛槳的前端推理引擎Paddle.js 新升級后保持高兼容性，完整支持了飛槳框架2.0及之后版本的模型格式，新增支持多種 Backend和主流圖像分割及分類模型，在高兼容性的同時兼顧了高性能。另外，Paddle.JS還推出了前端模型加密解決方案，有效提高業(yè)務的安全性。
推理部署工具鏈各個工具正加速升級，而整個鏈條是否通暢也非常重要，這一定程度上決定了AI應用最后一公里的路能否走順。峰會現場，一張飛槳推理部署導航圖成功吸睛，300多條部署通路一目了然，深刻詮釋了飛槳在打通AI應用最后一公里所做出的不懈努力。
硬件生態(tài)新成果，AI工業(yè)大生產“朋友圈”再擴容
AI基礎軟硬件生態(tài)構建意義非凡，芯片與深度學習框架的融合成為構建全球領先的AI 應用與推廣生態(tài)的關鍵。
飛槳的枝繁葉茂也離不開廣大硬件生態(tài)伙伴的支持。硬件生態(tài)方面，從去年WAVE SUMMIT2020峰會發(fā)布硬件生態(tài)伙伴圈到今天的一年時間里，飛槳已經和包括百度昆侖、英特爾在內的22家國內外硬件廠商開展適配和聯(lián)合優(yōu)化，已完成和正在適配的芯片或IP達到了31款。
飛槳正與合作伙伴們攜手，加快軟硬一體適配，提供功能強大、高效、可擴展和高性能的解決方案，助力實現AI創(chuàng)新，推動AI工業(yè)大生產的實現進程。峰會現場，英特爾、英偉達、海光、華為昇騰、瑞芯微多家合作伙伴進行了企業(yè)硬件生態(tài)成果展示，飛槳生態(tài)的硬件朋友圈再次擴容。
螺旋槳、量槳最新升級
當天除了全新發(fā)布，還見證了螺旋槳、量槳的最新升級。
螺旋槳 (PaddleHelix)升級到了1.0正式版本，新增了化合物預訓練模型ChemRL，并將ChemRL模型應用到更多的下游任務。在今年3月，國際權威的圖神經網絡OGB 上，在HIV和PCBA兩個藥物相關的數據集上，獲得雙冠軍。
量槳( Paddle Quantum)適配飛槳框架2.X，整體運行大幅度提升;量槳的整體功能也得到了進一步加強，適配了近期量子設備，新增量子核方法等特征提取方式等。對于難度很大的糾纏提純任務，量槳新增了最優(yōu)化量子糾纏處理框架，給出了目前業(yè)界最優(yōu)且可實施的提純方案，多個場景達到業(yè)界最優(yōu)。
AI大生產階段，作為百度大腦“AI大生產平臺”的基礎底座，飛槳始終保持著高頻更新迭代，是“技術使能者”也是“價值賦能者”。IDC數據顯示，飛槳是全球排名前三的深度學習框架。目前，飛槳平臺已經凝聚了320萬開發(fā)者，相比一年前增幅70%，服務12萬家企事業(yè)單位。飛槳“AI賦能萬物”的磅礴力量再次凸顯，也用行動踐行著百度“用科技讓復雜的世界更簡單”的使命。
