近日,一个团队在 Hacker News 上发布了名为 KradleBench 的 AI 评测基准,该基准在 Minecraft 世界中测试 AI 的表现。团队成员 James 和 Kemal 表示,他们此前分别领导过 Firebase 以及 TensorFlow/JAX 项目。
发生了什么
根据发布信息,KradleBench 的核心设计围绕三个特性展开。首先,测试世界是多智能体的,人类和其他 AI 也会在其中追求各自的目标,因此协作与冲突能力自然成为评测内容。其次,世界是动态变化的,智能体需要持续做出反应。以“夺旗”模式为例,其只有一个胜利条件,但达成路径多种多样,这促使涌现出大量有创意的策略。第三,世界是实时的,并非回合制,不会等待 AI 完成思考。
支撑这一基准的是名为 Kradle 的平台,定位为测试和理解智能的“培养皿”。该平台允许将任意类型的智能(包括 LLM、世界模型和人类)放在同一环境中进行比较,并生成有助于改进现有系统的信息,涉及能力或安全方面。
团队还公布了部分初步发现:一名熟练的人类玩家曾排名第一,直到昨日被 Astra 6.2 超越;在单人任务中人类表现明显落后,但在多智能体任务中则占据优势。此外,Astra 6.2 的策略迭代速度是 Fable 5.2 的 4 倍。团队观察到,Claude 系列模型倾向于深入思考并坚持既定策略,而 OpenAI 模型更偏向反应式和迭代式,这在多智能体、动态、实时的评测中表现良好。
为什么重要
当前 AI 评测多集中在静态、单智能体的任务上,而 KradleBench 尝试将评测置于动态、实时且包含多智能体的环境中,更贴近真实世界的复杂性。这种设计有助于观察模型在协作、冲突和快速决策中的行为差异,为能力评估和安全研究提供新的视角。团队表示,已在各顶级模型的页面上提供视频,并将在新模型发布时持续制作相关内容,用户可在网站注册以获取更新和平台开放信息。
来源:KradleBench: Multi-agent AI evals in Minecraft(发布于 2026-11-18)
评论 (0)
暂无评论,欢迎留下你的看法。
发表评论