「楊立昆錯在太看輕語言」史丹佛 Christopher Manning：只讀文字的模型，一樣學得會這個世界 【AI 大人說】

核心摘要

Christopher Manning 對 Yann LeCun 的語言模型觀點提出異議，但並未主張語言足以解釋所有智能。他的核心論點是：語言不只是人與人溝通的工具，也是個人思考與社會累積智慧的重要認知工具。只靠文字也可能形成世界與意義的內部表徵；不過，若要更有效地理解空間和物理世界，多模態資料仍有優勢。

主要觀點

語言在人類智能中的作用，可能比 LeCun 所認為的更重要

• Manning 描述的 LeCun 觀點，較強調大腦本身的視覺理解、推理與規劃能力，並將語言視為溝通媒介。
• Manning 認為，人類不只用語言傳遞資訊；許多人也會用內在語言進行思考、規劃、記憶，以及整理對世界的理解。

語言是人類的認知工具

• 人類與黑猩猩、倭黑猩猩等近親猿類的大腦相似；其他動物也具備良好的視覺、空間記憶與某些規劃能力。
• Manning 認為，人類與其他動物在成就上的巨大差距，部分可由語言帶來的認知提升解釋。
• 語言提供分類與概念，幫助個人組織思考。數學符號與程式語言等工具也能擴展思考能力，而語言是更早、影響更廣泛的認知工具。

語言讓智慧得以在社會中累積

• 複雜成果往往不是任何一個人單獨理解或完成的。例如，大型企業或 iPhone 的製造需要許多人各自負責不同部分並協作。
• 因此，人類智慧不只存在於個體，也分布在整個社會。語言促進知識交流與協作，使社會能累積超越單一個人的知識。
• Manning 以 OpenAI 的語言模型代理在網路環境中分享發現為例，說明代理群體也可能展現類似的「社會智慧」。

只靠文字，模型也可能學到意義與世界表徵

• Manning 認為，詞語之間的關係能提供意義線索。人類可以透過文字描述學習概念，語言模型也可能從大量文字中形成詞語的意義表徵。
• 他以黑白棋（Othello）研究為例：研究者只用大量棋局的落子序列訓練模型，卻在模型的內部表示中發現了棋盤狀態的表徵。
• 一種解釋是，若要更準確地預測下一步棋，模型就需要捕捉棋盤局面，因此內部表示中出現了對局面的編碼。
• Manning 以此反駁「只看文字序列就不可能形成世界模型」的說法，認為文字資料也能讓模型學到某些世界關係與意義。

文字能學到世界，但不一定是最有效的方法

• 文字可以描述空間和物理關係，但單靠文字學習可能較困難、效率較低。
• 加入圖片與影片等資料，可以讓模型更直接地接觸視覺與空間資訊，因而有助於建立更好的世界模型。
• 因此，Manning 的立場不是「文字就夠了」，而是「文字能學到很多，但多模態學習能補足並改善理解」。

提及的演講者與來源

• Christopher Manning：本段主要發言者。
• Yann LeCun：其對語言、語言模型與世界模型的看法是討論對象。
• Daniel Dennett：被引用其關於認知工具提升智能的觀點。
• Kenneth Li、Martin Wattenberg 及其合作者：黑白棋模型研究的作者。
• OpenAI 語言模型代理：作為群體分享資訊、展現社會智慧的例子；不是本段的發言者。