深度學(xué)習(xí)技術(shù)正廣泛應(yīng)用于人工智能的各個(gè)領(lǐng)域,如計(jì)算機(jī)視覺、機(jī)器翻譯、自然語言處理、智能機(jī)器人等,取得了前所未有的突破。當(dāng)前,一方面,隨著深度學(xué)習(xí)新技術(shù)的出現(xiàn)、任務(wù)復(fù)雜度的提高,易于擴(kuò)展同時(shí)保持高效的架構(gòu)成為發(fā)展趨勢;另一方面,我國人工智能產(chǎn)業(yè)發(fā)展迅速,急需構(gòu)建自己的開源深度學(xué)習(xí)生態(tài)。
清華大學(xué)計(jì)算機(jī)系可視媒體研究中心提出了一個(gè)全新的深度學(xué)習(xí)框架——計(jì)圖(Jittor)。Jittor是一個(gè)采用元算子表達(dá)神經(jīng)網(wǎng)絡(luò)計(jì)算單元、完全基于動(dòng)態(tài)編譯(Just-in-Time)的深度學(xué)習(xí)框架。

圖1 Jittor通過元算子融合實(shí)現(xiàn)深度神經(jīng)網(wǎng)絡(luò)模型
深度學(xué)習(xí)采用的卷積神經(jīng)網(wǎng)絡(luò)是由算子(Operator)組成的一個(gè)計(jì)算網(wǎng)絡(luò)。由于架構(gòu)設(shè)計(jì)和不斷擴(kuò)充等原因,當(dāng)前深度學(xué)習(xí)框架有多達(dá)2000種算子,系統(tǒng)復(fù)雜,優(yōu)化和移植困難。
Jittor將算子運(yùn)算進(jìn)一步分解,形成了更加底層的三類20余種元算子閉包,目前神經(jīng)網(wǎng)絡(luò)常用算子均可以使用元算子的組合進(jìn)行表達(dá)。面向未來深度學(xué)習(xí)框架的發(fā)展趨勢,Jittor利用元算子組合表達(dá)的優(yōu)勢,提出統(tǒng)一計(jì)算圖進(jìn)行優(yōu)化,并從底層開始設(shè)計(jì)了一個(gè)全新的動(dòng)態(tài)編譯架構(gòu)。
該架構(gòu)支持多種編譯器,實(shí)現(xiàn)了所有代碼的即時(shí)編譯和動(dòng)態(tài)運(yùn)行,確保了實(shí)現(xiàn)和優(yōu)化分離,大幅提升了應(yīng)用開發(fā)靈活性、可拓展性和可移植性,與國際主流平臺(tái)相比,具有多項(xiàng)先進(jìn)特性(圖2)。

圖2 Jittor與其他平臺(tái)的計(jì)算圖特性對(duì)比
目前ResNet、VGG、SSD、DeepLab、LSGAN等多個(gè)網(wǎng)絡(luò)模型已經(jīng)在Jittor平臺(tái)實(shí)現(xiàn),可供用戶使用。與同類型框架相比,Jittor在收斂精度一致情況下,推理速度取得了10%-50%的性能提升(圖3)。

Jittor得到國家自然科學(xué)基金項(xiàng)目、北京信息科學(xué)與技術(shù)國家研究中心團(tuán)隊(duì)項(xiàng)目和清華-騰訊聯(lián)合實(shí)驗(yàn)室(成立于2010年,以下簡稱“聯(lián)合實(shí)驗(yàn)室”)項(xiàng)目的資助和支持。
聯(lián)合實(shí)驗(yàn)室橋接清華大學(xué)和騰訊公司在科技研發(fā)、學(xué)術(shù)交流、人才培養(yǎng)等方面進(jìn)行深入合作,雙方圍繞國際學(xué)科前沿、國家重大需求和騰訊產(chǎn)業(yè)發(fā)展的重要技術(shù)開展緊密合作,攜手共同承擔(dān)國家重大科研項(xiàng)目、探索原創(chuàng)性技術(shù)成果、培養(yǎng)和吸收一流人才。
聯(lián)合實(shí)驗(yàn)室在AI、社交網(wǎng)絡(luò)、大數(shù)據(jù)和安全等領(lǐng)域取得了豐碩成果,獲得國家科學(xué)技術(shù)進(jìn)步二等獎(jiǎng)等多項(xiàng)國家及省部級(jí)科技獎(jiǎng)勵(lì),共同研發(fā)的幾十項(xiàng)科研成果已在騰訊得到實(shí)際應(yīng)用。未來清華大學(xué)和騰訊公司將在更廣的領(lǐng)域、更深的層面開展更緊密的合作。
期望Jittor能為學(xué)界和業(yè)界提供一個(gè)靈活高效的深度學(xué)習(xí)平臺(tái),促進(jìn)人工智能的研究和應(yīng)用,賦能人工智能產(chǎn)業(yè)。