加利福尼亞大學(xué)圣地亞哥分校的 Hao 人工智能實(shí)驗(yàn)室（Hao AI Lab）上周五開展了一項(xiàng)獨(dú)特的研究，將人工智能（AI）引入經(jīng)典游戲《超級馬力歐兄弟》中，以測試其性能表現(xiàn)。研究結(jié)果顯示，在參與測試的 AI 模型中，Anthropic 的 Claude 3.7 表現(xiàn)最為出色，緊隨其后的是 Claude 3.5。相比之下，谷歌的 Gemini 1.5 Pro 和 OpenAI 的 GPT-4o 則表現(xiàn)不佳。

需要明確的是，此次實(shí)驗(yàn)所使用的并非 1985 年最初發(fā)布的《超級馬力歐兄弟》版本。游戲運(yùn)行在一個(gè)模擬器中，并通過一個(gè)名為 GamingAgent 的框架與 AI 進(jìn)行連接，從而讓 AI 能夠控制馬力歐。GamingAgent 由 Hao 人工智能實(shí)驗(yàn)室自主研發(fā)，其向 AI 提供基本指令，例如“如果附近有障礙物或敵人，向左移動或跳躍以躲避”，同時(shí)還提供游戲內(nèi)的截圖。隨后，AI 通過生成 Python 代碼的形式來操控馬力歐。

據(jù)實(shí)驗(yàn)室介紹，該游戲環(huán)境迫使每個(gè) AI 模型“學(xué)習(xí)”如何規(guī)劃復(fù)雜的操作并制定游戲策略。有趣的是，實(shí)驗(yàn)發(fā)現(xiàn)像 OpenAI 的 o1 這樣的推理模型（它們通過逐步思考問題來得出解決方案）表現(xiàn)不如“非推理”模型，盡管它們在大多數(shù)基準(zhǔn)測試中通常表現(xiàn)更強(qiáng)。研究人員指出，推理模型在實(shí)時(shí)游戲中表現(xiàn)不佳的主要原因之一是它們通常需要花費(fèi)數(shù)秒時(shí)間來決定行動。而在《超級馬力歐兄弟》中，時(shí)機(jī)至關(guān)重要，一秒鐘的差別可能意味著安全跳過和墜落死亡的不同結(jié)果。

數(shù)十年來，游戲一直是衡量 AI 性能的重要工具。然而，一些專家對將 AI 在游戲中的表現(xiàn)與技術(shù)進(jìn)步直接掛鉤的做法提出了質(zhì)疑。與現(xiàn)實(shí)世界相比，游戲往往是抽象且相對簡單的，并且能夠?yàn)?AI 訓(xùn)練提供理論上無限的數(shù)據(jù)。

IT之家注意到，最近一些引人注目的游戲基準(zhǔn)測試結(jié)果引發(fā)了 OpenAI 研究科學(xué)家、創(chuàng)始成員安德烈?卡帕西（Andrej Karpathy）所說的“評估危機(jī)”。他在 X 平臺上發(fā)表的一篇帖子中寫道：“我目前真的不知道該關(guān)注哪些 AI 指標(biāo)。”他總結(jié)道：“我的反應(yīng)是，我目前真的不知道這些模型到底有多好。”