速途網5月10日訊(報道:喬志斌)Anthropic是一家領先的人工智能公司,由前OpenAI工程師創立,在三月份為其生成AI克勞德注入了10個公平的秘密原則。該公司在周二的博客文章中進一步解釋了其憲法AI系統的設計方式以及它的運作方式。
通常,在訓練生成AI模型時,需要一個人來提供質量控制和反饋輸出,就像ChatGPT或Bard會要求您對其系統的交談進行評分一樣。Anthropic團隊寫道:“對我們而言,這包括讓人類承包商比較兩個回答,并選擇他們認為更好的那個,根據某些原則(例如,選擇更有幫助或更無害的回答)。”
它采用了一種新穎的方法來應對日益強大的AI系統帶來的道德和社會挑戰:給它們制定一部憲法。周二,該公司公開發布了其最新的對話AI模型Constitutional AI,該模型可以生成文本、圖像和代碼。憲法概述了克勞德在與用戶互動時必須遵循的一系列價值觀和原則,例如要有益、無害和誠實。它還指定了克勞德應如何處理敏感話題、尊重用戶隱私和避免非法行為。
Anthropic是少數幾家專門從事開發通用AI系統和語言模型的初創公司之一,這些系統旨在在不同領域執行廣泛的任務。該公司最近發布了其首款產品——克勞德,這是一個基于Constitutional AI技術訓練的對話AI模型。該技術使模型能夠根據一組原則自我評估和修改其輸出,并選擇更要有益、無害和誠實的回答