問：您對MOSS的具體訓練過程是怎樣的？

答：大模型中參數的本質是海量的矩陣，這些矩陣對輸入的文本進行簡單、繁重、重復的數字運算，最終得到需要生成的內容。我們可以通過對網絡上的語料進行收集、“清洗”，并讓大模型從這些語料中學習知識。具體而言，學習過程就是不斷“閱讀”文本，并調整大模型內部參數，使其對語言的理解不斷加深，最終獲得某種“智能”，這個過程稱為訓練。

在搭建MOSS的過程中，我們通過三階段“閱讀”賦予MOSS強大的能力。一是基礎知識獲取階段。MOSS通過廣泛“閱讀”網絡上幾乎所有的文本，由于巨大的參數量，其足以涵蓋海量知識。二是對話能力獲取階段。MOSS通過“閱讀”對話數據，學習利用第一階段獲取的知識，以對話的方式回答人類的問題。三是對齊階段。由于有些回復可能會有誤導性，MOSS會根據人類的反饋來抑制生成不符合人類法律和道德倫理的內容，使回答更客觀、更理性。

問：MOSS和ChatGPT相比有哪些差異？

答：ChatGPT的訓練數據涵蓋十分廣泛，用戶體驗良好。MOSS作為學術界的嘗試，我們希望通過打造開源對話式的語言模型，向學術界分享更前瞻的理論和工程經驗。

問：MOSS是來源于電影《流浪地球2》嗎？它的未來目標是什么？

答：MOSS的名字與《流浪地球2》這部電影有關，電影中的人工智能機器人MOSS展現出極強的智能和理性，成為人類的得力助手。我們從對話式語言模型發展中看到了人工智能的巨大潛力，因此起名MOSS，這個名字寄托這我們對人工智能技術未來發展的期待。

未來的MOSS會越來越“聰明”。我們將充分利用火山引擎等平臺提供的云端算力和資源，與更多同行開展模型迭代和技術交流，不斷探索對話式大模型和大型語言模型的技術前沿，讓人工智能技術更好地造福人類社會。

(彭訓文、張嘉幸采訪整理)