Physics of Language Models

现代大语言模型在各种任务中展现了卓越的性能，但其成功背后的工作原理仍未被充分揭示。理解这些模型的内在机制有助于加深我们对大模型的理解。本次分享将借鉴物理学中“观察—猜想—验证”的实证研究方法，以设计受控实验为核心，对大语言模型的工作原理进行可控探索。具体而言，研究流程包括以下三步：

1. 观察：通过在合成数据上的实验，观察语言模型在特定任务中的表现；
2. 猜想：基于实验结果，提出关于语言模型内在机理的假设；
3. 验证：利用探测技术（linear probing）分析模型内部表征，验证这些假设，从而实现对语言模型机制的可解释性研究。

围绕这一研究方法，本次分享将重点探讨以下三个关键问题：

• 语言模型如何处理结构化语言；
• 如何存储和调用世界知识；
• 如何通过推理解决复杂问题。