周一早晨,六点整。
水木大学博士生公寓的一个房间里,手机发出了一阵蜂鸣声。
声音不大,但是章闻铎已经睁开了眼睛,伸手关掉了闹钟。
他没有赖床或者玩手机,利落地翻身下床、洗漱、换上了一身衬衫牛仔裤,然後坐在了电脑前,这个时候是六点二十分。
硕博连读五年,章闻铎就是用这样严苛的作息要求自己的。
经过一晚上的睡眠,昨晚那点微醺的酒劲,和因为自己的狂妄所产生的不适都消散的差不多了。
现在还有更重要的事去做。
昨天晚上,汤圆的API静态测试集测试证明了它不是一个用过拟合作弊的骗子。作为一个即将答辩的顶级计算机博士,章闻铎很清楚这意味着什麽。
在业界所有人都在卷算力、卷参数、卷更大的模型的时候,汤圆给出了另外一种解答数据质量能把模型能力提高到什麽程度。
这对前沿研究者的价值不可估量。
章闻铎的博士研究方向不是传统的基於语义关系的大语言模型,因为他认同很多业界先驱的想法,认为纯粹的语义推断已经到达了它的上限。
想要让人工智慧的研究突破到下一个阶段,必须走出一条新路来。
这也是为什麽昨天晚上他敢於直接当面质疑韩路一的原因。
虽然最後证明,是他的判断错了,但这更有价值。
既然现在手里有着世界第一的闭源模型的API,可不能浪费了。
章闻铎调出了自己博士论文的核心代码,一个用於探测大模型内部是否具备反事实因果推理的「世界模型(WorIdModeI)」状态探针。
所谓世界模型,是和现在流行的大语言模型(LLM)完全不同的研究方向。如果说大语言模型要做的是,基於前文,後面会出现的「话」;那世界模型是,基於前面的事件信息,现实世界中会发生的下一件「事」。
而状态探针,探测的就是一个模型—一—不管他的内部实现机制是什麽一—有没有能够用内部状态表达世界的能力。
比如说,在网上流传的一个很经典的笑话,如果你问AI大模型:「五米外有个洗车店,我要洗车,我该走着去还是开车去?」大部分的AI都会回答走着去。
为什麽?
因为「五米外」和「走路」在传统的大语言模型中是注意力强关联,洗车店和开车作为弱信号被忽略了。
(本章未完,请点击下一页继续阅读)