大型语言模型永远无法做出真正的科学发现

寂静回声

谷歌DeepMind认为，大型语言模型永远无法做出真正的科学发现。
       
他们发表了一篇论文，剖析了阿尔伯特·爱因斯坦对科学发现的私人观点。
       
在给朋友莫里斯·索洛文的著名信件中，爱因斯坦绘制了一幅科学实际发生过程的图表。
       
首先，你体验原始感官数据。
然后，通过一种神秘的、非逻辑的直觉行为，你做出一个直觉性的“跳跃”，到达抽象公理。
最后，你使用严格的逻辑演绎，从这些公理中推导出结果。
       
生成式AI已经完全掌握了这个回路的三分之二，跨越数十亿标记的统计模式匹配。
•形式化证明生成，比如AlphaProof解决复杂数学奥林匹克竞赛。
       
AI可以处理数据，它也可以证明定理，但它无法做出那个跳跃。
       
论文认为，AI完全缺乏溯因推理，即在观测数据稀缺时生成新颖解释性假设的过程。

       
主流科技神话宣称“创造力只是数据压缩”。如果给大型语言模型输入足够多的文本，科学突破就会自然而然地冒出来。
       
爱因斯坦对广义相对论的表述证明了这是妄想，当爱因斯坦表述相对论时，观测数据并不要求一个新的物理框架，经典力学仍然大获成功。这个突破需要一个概念断裂，从物理现实到全新基础公理集的直觉飞跃。
       
大型语言模型可以在给定公理后执行数学计算，但它在结构上无法自行表述这些前提。
       
它可以在现有的人类思想内部进行插值，但它无法超越它。
       
将物理现实转化为形式公理仍然是人工科学发明中绝对的、难以逾越的瓶颈。
       
我们可以构建拥有万亿参数的模型。我们可以将计算能力扩展到天际，可以让计算器无限快速，但它仍然无法做出那个跳跃。