麻省理研究揭示AI模型的局限性：缺乏对真实世界理解

麻省理工学院的一项最新研究警告称，尽管生成式人工智能模型，如大型语言模型LLM能够产生令人信服的输出，但它们实际上并不真正理解世界是如何运作的。这些模型通过预测文本中的下一个单词来生成内容，但在面对不可预测的真实世界条件时，它们的表现往往不可靠。

研究方法与发现
研究人员尝试开发新的指标来评估生成式人工智能系统是否真正理解世界。他们选择了两个具体问题：在纽约市提供逐向导航和玩奥赛罗游戏。这些任务需要模型理解复杂的规则和逻辑。

纽约市导航：研究人员发现，当在纽约地图上添加弯路时，生成式人工智能模型的表现急剧下降。在关闭了地图上1%的可能街道后，模型的准确率从接近100%下降到了67%。这表明模型无法正确“解读”这些变化，提出了不存在的随机立交桥或“不可能”的街道方向。
奥赛罗游戏：模型在正常情况下能够生成准确的方向和有效的棋步，但在面对意外变化时表现不佳。
结论与启示
研究结果表明，基于Transformer架构的LLM在某些任务中可以表现出色，但它们缺乏对真实世界的深刻理解，这提醒我们在依赖这些模型时需要谨慎，尤其是在涉及复杂决策和不可预测环境的任务中，效果不会非常准确。