如今，機器學習不僅是人工智能領域研究的重點，也正在成為整個計算機科學研究的熱點。2020 年 5 月，OpenAI 發布了無監督轉化語言模型 GPT-3，其展現出的從海量未標記數據中「學習」且不限于某一特定任務的「通用」能力，讓 AI 研究者看到了基于大規模預訓練模型探索通用人工智能的可能，這其中作為人工智能的領軍人物清華唐杰為之付出了很多努力。
全部登頂的語言模型
2021 年 6 月，以 1.75 萬億的參數量成為迄今全球規模最大的預訓練模型。不僅如此，有清華唐杰參與研究的悟道團隊還基于 GPT 與 BERT各自在自然語言生成（NLG）和自然語言理解（NLU）任務上的優點，成功將兩者融合并提出通用語言模型 GLM，將所有自然語言任務都化歸為生成任務進行統一處理，GLM 也成為首個在 NLU、NLG、Seq2Seq、不定長填空等任務中全部登頂的語言模型。超大規模預訓練模型是否代表了「會學習的機器」？不斷增大的模型（以及不斷增加的算力）最終能把我們帶到哪里？預訓練模型究竟從數據中學到了什么？未來的機器智能是否會改變我們對數據、信息、知識乃至智慧的定義？帶著這些疑問，機器之心專訪了智源研究院學術副院長、悟道項目負責人、清華大學計算機系教授唐杰。智源研究院學術副院長、悟道項目負責人、清華唐杰教授，在 2021 北京智源大會上發布悟道 2.0。
人工智能的不斷探索
清華唐杰教授早先從事數據挖掘和知識工程方面的研究，他曾經不愿意也不敢相信機器智能可以超越人，但大規模預訓練模型改變了他的想法。如今，他開始反問為何機器智能不可以超越人。清華唐杰教授表示，萬億參數大模型只是一個開始，作為一種科學上的探索，智源悟道團隊將堅持在「大」這條路上走下去，探索其邊界，因為他們已經在大模型上觀察到了以往小模型上所不曾有過的現象。但他同時也指出，單靠增加訓練數據量或模型參數規模不足以實現「智能」，悟道團隊目前踐行的「知識+數據雙輪驅動」，正是嘗試將知識這種符號信息與神經網絡相結合，構建所謂的「神經-符號結合模型」，從而賦予機器認知能力。在更遠期的規劃中，清華唐杰教授希望讓悟道模型擁有自學習的能力，以及作為一個主體與現實世界交互的能力，正如人類兒童在成長中所經歷的那樣。
至于眼下，一個重點將是基于悟道 2.0 構建一個平臺和生態，讓企業、開發者和研究人員真正用起來——用他的話說就是「大規模預訓練模型不是用來作秀的」，并根據用戶的反饋優化和迭代。不過，這方面的工作將由其他團隊牽頭完成。悟道團隊將持續聚焦，這也是清華唐杰教授個人的研究風格——專注、專注再專注，直到拿出嚴謹、可靠和有力的成果。
