大數據+大算力+強算法=大模型”是當前人工智能發展的主要技術路徑。語言大模型ChatGPT成為現象級應用,人工智能進入普及應用的新時期。
智源研究院2020年搭建大模型攻關團隊,2021年6月推出當時規模最大、性能領先多模態大模型“悟道2.0”。為了推動大模型方向的協同創新,在“科技創新2030”新一代人工智能重大科技項目支持下,2023年初,智源研究院聯合30多家產學研單位共同承擔的旗艦項目“人工智能基礎模型支撐平臺與評測技術”全面啟動。經2個月集中攻關,開發出FlagOpen(飛智)大模型技術開源體系,旨在打造全面支撐大模型技術發展的開源算法體系和一站式基礎軟件平臺,支持協同創新和開放競爭,共建共享大模型時代的“新Linux”開源開放生態。
北京市副市長于英杰和科技部高新司副司長梅建平出席工作會并致辭。
于英杰副市長指出,大模型的研發是一項體系化工作,涉及數據、算法、算力及訓練基礎設施等。智源研究院發布的FlagOpen大模型技術開源體系,是智源及上下游生態合作機構聯合開展技術攻關的成果展現,為大模型技術創新提供了“北京貢獻”。同時,他對于大模型的發展提出了三點期望:一是要抓住大模型發展機會,保持定力,強化基礎。要聚焦源頭,創新底層技術,大力突破核心關鍵技術,搶占制高點。二是應用導向,推動大模型應用生態建設。要加快大模型創新應用開發及API服務開放,形成數據飛輪效應,發揮大模型的通用泛化能力,賦智經濟社會發展。三是科研機構、企業等要圍繞算法及技術研究、數據等加強協同創新,建立開源開放的合作生態。
于英杰北京市副市長
梅建平副司長指出,面對大模型引發的人工智能技術范式變革趨勢,科技部從2021年開始超前布局大模型旗艦項目群,著力打造開源開放的大模型創新生態體系?！叭斯ぶ悄芑A模型支撐平臺與評測技術”旗艦項目是整個項目群的核心,由智源研究院聯合30多家產學研單位共同承擔。FlagOpen大模型技術開源體系即是旗艦項目的階段性成果,將對我國大模型技術創新能力的提升提供重要支撐。另外,為滿足大模型發展所需的算力需求,科技部正在推動建設“國家公共算力平臺”和“中國算力網”,為科技創新和產業智能化轉型提供普惠算力。他同時指出,大模型發展需要技術創新與倫理治理并重,科技部也將組織探索研究大模型的倫理治理問題,讓大模型技術趨利避害,更好地發揮前沿技術的賦能作用。
梅建平科技部高新司副司長
FlagOpen飛智大模型技術開源體系
開啟大模型時代“新Linux”生態建設
FlagOpen(飛智)大模型技術開源體系是由智源研究院與多家企業、高校和科研機構共建的一站式、高質量的大模型開源開放軟件體系,包括大模型算法、模型、數據、工具、評測等重要組成部分,旨在建設大模型領域的“Linux”。
基于FlagOpen,國內外開發者可以快速開啟各種大模型的嘗試、開發和研究工作,企業可以低門檻進行大模型研發。同時,FlagOpen大模型基礎軟件開源體系正逐步實現對多種深度學習框架、多種AI芯片的完整支持,支撐AI大模型軟硬件生態的百花齊放。
FlagOpen將通過Linux基金會、啟智社區等開源組織,推動國內外開發者協同創新。通過開源開放方式,全球開發者可以自由探索、共同貢獻、協同創新。未來,FlagOpen也將支撐全球AI企業、機構基于FlagOpen構建AI大模型軟件發行版本、平臺、商業軟件等。
1. FlagAI:大模型算法、模型及工具一站式開源項目
為降低大模型開發和應用的門檻,提高大模型的開發效率,智源研究院打造了大模型算法、模型,及各種優化工具的一站式、高質量開源項目FlagAI。
FlagAI集成全球各種主流大模型算法技術,以及多種大模型并行處理和訓練加速技術,支持高效訓練和微調。
FlagAI涵蓋多個領域明星模型,如語言大模型OPT、T5,視覺大模型ViT、Swin Transformer,多模態大模型CLIP等。
堅持開源開放路線,智源研究院也持續將“悟道”大模型項目成果開源至FlagAI,包括“悟道2.0”通用語言大模型GLM,“悟道3.0”視覺預訓練大模型EVA,視覺通用多任務模型Painter,文生圖大模型AltDiffusion(多語言),文圖表征預訓練大模型(多語言)、EVA-CLIP(英文),阿拉伯語大模型ALM,百億語言基礎模型CPM3等。
目前,FlagAI已經加入Linux基金會,吸引全球科研力量對大模型技術共同創新、共同貢獻。
2. FlagPerf:面向多種AI硬件的一體化評測引擎
AI硬件評測對AI生態有重要價值,但由于AI軟硬件技術棧異構程度高、兼容性差,應用場景復雜多變,給評測本身帶來了很多挑戰。
FlagPerf希望共同探索開源、開放、靈活、公正、客觀的AI硬件評測體系,建立支持多種深度學習框架、最新主流模型評測需求、易于AI芯片廠商插入底層支撐工具的AI系統評測生態。不以排名為核心目標,而以提供行業價值、促進AI產業生態發展為愿景。
目前該項目已和天數智芯、百度PaddlePaddle、昆侖芯科技、中國移動等深度合作,共同推進AI硬件評測建設。圍繞FlagPerf,也將有更多廠商和團隊加入共同貢獻的大家庭。
3. FlagEval:多領域、多維度的基礎大模型評測開源項目
大模型時代需要科學、公正、開放的評測基準及工具來幫助人們更深刻的理解和認識模型,但在學術界一直缺乏能涵蓋多種模態領域、多種評測維度的統一化評測體系和項目。尤其在AIGC的發展浪潮下,如何對生成任務進行更高效、更客觀的評價,是阻礙大模型落地的重要制約。
智源研究院將聯合多個高校團隊,共同打造覆蓋多個模態領域、包含評測維度的評測工具FlagEval,探索大模型自動評測技術,推動大模型技術創新和產業應用。
FlagEval首先開放近期備受關注的多模態領域-CLIP系列模型評測工具,支持多語言多任務、開箱即用。之后,更多領域、更多維度的評測工具陸續發布。
4. FlagData:開箱即用、易于擴展的數據工具開源項目
數據是人工智能領域發展的基礎要素之一。隨著大規模預訓練模型及相關技術不斷取得突破,在相應研究中使用高效數據處理工具提升數據質量變得日益重要。
智源研究院長期投入數據建設工作,構建了全球最大 WuDaoCorpora語料庫,同時開發了一批數據處理的高效工具。
FlagData數據工具開源項目集成包含清洗、標注、壓縮、統計分析等功能在內的多個數據處理工具與算法,為自然語言處理、計算機視覺等領域的模型訓練與部署提供了數據層面的有力支撐,有助于推動大模型的快速發展。
林詠華智源研究院副院長兼總工程師
FlagOpen大模型技術開源體系正在與Linux基金會等全球開源代表組織與機構積極合作,加快建設面向全球的大模型技術開源生態。
全球最大的AI領域開源基金會- Linux AI & DATA基金會主席堵俊平認為FlagOpen大模型技術開源體系的發布,是人工智能大模型時代開源創新生態建設的重要一步:“未來,大模型領域一定會出現類似Linux的開源生態體系,開源開放加速AI技術創新?！?/p>
堵俊平 Linux AI & DATA基金會主席
Stability AI全球產品副總裁Christian Cantrell說:“我們在開源社區中與智源團隊合作,基于FlagAI開源的多語言文圖模型能力,合作打造支持更多語言的擴散生成模型。很高興看到智源研究院把大模型技術體系開源,這對全球大模型創新的推動和開放合作十分重要”
“數據飛輪”開源數據互助計劃啟動
大模型前沿訓練營推動頂尖人才培養
時不我待,十年一遇信息技術產業變革席卷世界。
高質量數據與系統性人才是這一輪計算機范式轉變的關鍵要素。
本次發布會上,智源研究院開放中文世界首個開放數據標注平臺OpenLabel,與CSDN合作啟動”數據飛輪”開放數據互助公益計劃。計劃以“我們的數據,我們的AI”為宗旨,讓廣大人民產生的數據,造福于廣大人民。
“數據飛輪”計劃的目標是建設動態開放的重要大型數據集,為大模型、AIGC發展創建豐富權威的大模型訓練數據來源。智源研究院希望通過公益合作,夯實數據基礎建設,促進數據創新,推動國內外大模型訓練研究發展。
加速邁向人工智能大模型時代,必然伴隨著大模型從精英學者到大眾開發者的技術普及。
為推動優秀大模型技術人才培養,智源研究院與中國移動研究院、中科曙光、國家先進計算太原中心合作,與多所頂尖高校聯動,面向交叉學科背景學生與相關領域學者推出大模型前沿訓練營,通過舉辦系列人工智能前沿公開課、創新應用大賽與前沿講習班,為大模型技術研究和產業發展培養具有實戰經驗的系統性人才。
大模型是智能時代生態核心
FlagOpen建設大模型技術體系根基
智源研究院院長黃鐵軍發表題為《加快建設人工智能開源開放生態》的主旨演講,他認為開源開放是智能時代的必然選擇。
大模型通過同一模型完成多場景任務,成為支撐無數智能應用的基礎平臺,使得人工智能技術的大規模應用變為可能,加速了智能時代的真正到來。當前深度學習階段的人工智能系統具有難以透徹理解的技術特性,智能時代不應封閉、必須開放、最好開源,特別是作為基礎平臺的大模型需要全面開源、接受監督,才能得到信任、采納和廣泛應用。
黃鐵軍智源研究院院長
結合當下ChatGPT熱潮,黃鐵軍認為,此類AI現象只是大模型技術“海平面以上”的冰山一角,深藏于“海平面以下”的大模型技術體系才是更值得關注的部分。從長遠考慮,打好根基,形成完整的大模型技術體系及強大的資源能力,未來才能產生更多的“ChatGPT級”的現場級應用。
FlagOpen正是為了建立大模型技術體系而開展的基礎性工作,通過開源開放的形式促進各類機構共創共享,形成良好生態,共同打牢大模型發展根基。未來將面向各類企業提供大模型相關技術服務,支撐各行業智能應用開發,賦能經濟社會智能化升級。
FlagOpen開源生態合作
推動大模型產業價值提升
為推動大模型技術在更廣泛的范圍得到應用,在產業中發揮大模型的價值和作用,FlagOpen大模型技術開源體系已與中國移動、浪潮信息、昆侖芯科技、天數等多家知名企業達成生態合作,并將FlagAI開源工具部署在中國移動九天畢昇教育平臺、浪潮AI Station等平臺。
為促進人工智能與經濟社會發展深度融合,智源聯合多家單位開展大模型行業應用探索,主要有:聯合中國移動研究院建立AI基礎模型服務開放實驗室,面向行業應用場景的聽覺內容分析等領域進行大模型研究與應用;聯合浪潮信息建立大模型開源生態聯合實驗室,共同推動國產AI硬件底層軟件的完善;聯合中國電子云建立大模型國產算力云平臺開放實驗室,探索國產CPU的大模型適配部署;聯合航天信息建立智慧政企人工智能開放實驗室,探索稅務、政務領域的模型能力調優、模型研發、算法研究等;聯合工商銀行共建數字金融開放實驗室,致力于運用AI技術提升金融生態垂直領域智能化能力;聯合啟元世界建立認知決策大模型開放實驗室,探索AI NPC、數字人AI等場景的大模型應用;聯合核桃科技建立國產3D圖形化AI編程平臺開放實驗室,共同開展基于開源體系的國產化編程平臺工具研發。
為推動AI底層基礎軟硬件生態的共建共享和共同繁榮,智源研究院聯合浪潮信息、昆侖芯科技、壁仞科技、天數智芯、燧原科技、摩爾線程等硬件企業,清華大學、北京大學、中科院計算所優勢團隊,共建“北京國家新一代人工智能創新發展試驗區AI開放生態實驗室”,共同開展基礎軟硬件適配、評測等工作,實現拉動基礎軟硬件對AI重大科研計算范式的優化,加速完善軟硬件生態建設。
