智能客服機器人的核心是企業知識，而企業知識獲取的核心步驟，是企業知識庫的構建。

構建邏輯是：結構化企業數據，存入企業問答知識庫。之后，根據知識庫進行線上的FAQ問答（基于常見問答對的）、MRC問答（基于機器閱讀的）等，對應構建形成 {問題：答案}、{文檔}等知識庫。

過往，這種企業知識庫的構建，都是離線的、耗時的、需要人工反復校驗的。尤其是上線后，為了提高機器人的問答準確率，就需要運營人員基于具體業務去持續做優化，如用戶關鍵詞抽取、實體抽取、同義詞理解等等，耗時很多。

在AIGC時代，這一切都將改變。

構建知識庫的速度和問答準確率，都將極大提升。主要是因為數據來源更容易無限擴展，不再局限于結構化、半結構化的企業文檔，說明書，文字、語音、圖片、視頻等都可以被快速提取出有效信息，輸入給大型預訓練語言模型理解后問答，或者直接存儲到知識庫中，搜索后推出，也可二者結合。

1. FAQ文本知識庫

FAQ（Frequently Asked Questions），即常見問題解答，是指整理和歸納常見問題及其對應答案的文檔或資源集合。這些問題通常是某個業務場景下，客戶會經常遇到的問題，可以幫助客服機器人快速、準確地解決常見問題，提升客戶滿意度。

FAQ文本知識庫的創建、擴寫對運營崗位的消耗較大。舉個簡單的例子：

query: “工作過多個城市，現在如何查詢自己的公積金是屬于哪個公積金中心？”。

我們需要對這個query擴展相似問，自動生成多個相似問。通過這種方式快速豐富知識庫問題，同時提高實際線上問答的語義搜索結果可靠性。

就在這個過程中，擴展生成的相似問，需要經過多步自動化校驗，包括答案一致性校驗、口語化校驗、相似性校驗、屬性分類校驗等等。

答案一致性校驗是指“從擴展的相似問題中，那些與原始query的標準答案相關，且該標準答案能對其進行解答的問題”。這樣，它們有可能組成標準問題-相似問題對，答案也相同。

下面是通過答案一致性校驗的相似問：

通過答案一致性校驗后，還是會有很多問題。例如：

很多問題是有效問題，卻不是該業務下的常見表述，簡單來說就是不夠口語化。這些問題，不僅會增加知識庫的冗余，還會影響其他業務的搜索結果。針對這類問題還需要進行口語化校驗，校驗后保留如下：

經過上述校驗的問答對，往往還會存在一個問題，就是相似性過高。這些問題，往往只是簡單換了個詞匯，存儲知識庫的必要性低。因此，我們還需要做一輪相似性校驗，具體來說，就是根據業務特性設定去除和保留比例，通過聚類、相似度計算去除冗余部分。校驗后保留如下：

可以看到，經過系列校驗后，保留下來的相似問已經有很高的質量了。

在知識庫的的構建方面，除了標準問、相似問的生成，還必須關注業務覆蓋率這個指標，一般來說，業務覆蓋率越高，知識庫的質量也越高。

例如，“公積金”查詢會涉及地點、時間、金額、查詢方式、繳費方式等問題維度，維度越多，覆蓋率就越高。

舉個例子：可對“公積金歸屬地查詢”這個原始問題拓展出的所有相似問題，進行分類，進一步發現更多有價值的句子。從下面分類結果看到，其中的類別1和原始問題答案相同，其他類別下的問題，是“公積金”相關的其他維度的業務問題，只是答案和原始問題的可能不同。那么，這些句子如果能加入知識庫，就拓展了“公積金”相關的業務覆蓋率。

對上面初始拓展的39個問題，分類如下：

類別1：公積金歸屬地的基本查詢。

詢問如何查詢公積金的歸屬地，包括城市、地區、省份、縣、區等，關注點尋找基本的位置信息。

分類結果包含：1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 12, 13, 16, 18, 19, 21, 22, 24, 25, 27, 28, 30, 31, 33, 34, 37。

類別2：公積金歸屬地查詢的具體步驟和流程

關注查詢公積金歸屬地的步驟、流程，關注點是更詳細的查詢指導。

分類結果包含：11, 23。

類別3：公積金歸屬地查詢的工具和平臺

詢問關于查詢公積金歸屬地的工具、軟件、系統、平臺、網址等，關注點是查詢工具和平臺的選擇。

分類結果包含：14, 17, 20, 26, 29, 32, 35, 38。

類別4：公積金歸屬地的詳細信息查詢

詢問如何查詢公積金歸屬地的具體地址、郵編、電話號碼、郵寄地址等詳細信息，關注點獲取更具體的信息。

分類結果包含：15, 24, 27, 30, 33, 36, 39。

上面分類后的類別2、類別3、類別4，是經過答案一致性校驗后，被排除的。查詢知識庫如果有相似query或答案，可進入到下一輪的自動化校驗，對符合條件的可人工校驗入庫。另外，新增的這些問題，還可做預測性的FAQ  (PFAQ)，預測用戶可能會遇到的問題，并提前提供問答。

2. MRC文本知識庫

MRC問答，也就是機器閱讀理解（Machine Reading Comprehension）的問答，系統通過閱讀和理解自然語言文本，并根據這些文本回答給定的問題。在我們的機器人中，是將query和與它最相關的文本塊給與LLM，輸出answer。

通過文檔上傳，文檔切片分塊，向量化存儲后，即可語義搜索。問答時，根據文檔搜索結果和query一起加入Prompt，輸入LLM理解后回答。

受限于語言模型的理解能力，過往的MRC的問答效果一般。現在，結合LLM模型， 文檔理解和問答的準確性，已經能解決常見問題。

在智能問答客服機器人中，為進一步提高問答效果，對于分塊文檔，還可增加問答對的抽取。一方面結合原始的分塊文檔，可以提高query理解的準確性，另一方面，對于文檔切片后引起的塊內知識不完全，是個很好的補充。

常用的tricks，比如在原有的文檔切片的基礎上，提取摘要、關鍵詞、關鍵句等信息，作為補充，也可提取問答對作為補充。

問答對的提取如下，例如分塊后的文檔如下：

進行問答對抽取，得到如下：

通過對切片后的文檔進行問答對抽取，可以快速完成多源數據的知識庫構建。

更重要的是，這種文檔的直接切片分塊，知識構建，在文檔上傳后，即可進行智能問答。好處是，快速更新的企業知識，也能夠快速應用在業務中。

以上方法構建的企業知識庫，生成校驗極快。并且在機器人的問答準確性上，結合模型強大的理解能力，語義搜索后的多個潛在答案通過LLM進一步加工，答案準確性極高。