首页 AI科技文章正文

美团 LongCat 团队发布 Agent 评测基准“VitaBench”

AI科技 2025年10月20日 22:03 0 aa

IT之家 10 月 20 日消息，美团 LongCat 团队今日正式发布当前高度贴近真实生活场景、面向复杂问题的大模型智能体评测基准 ——VitaBench。

美团 LongCat 团队发布 Agent 评测基准“VitaBench”

IT之家从官方介绍获悉，VitaBench 以外卖点餐、餐厅就餐、旅游出行三大高频真实生活场景为典型载体，构建了包含 66 个工具的交互式评测环境，并进行了跨场景的综合任务设计。例如，在旅游规划任务中，要求智能体通过思考、调用工具和用户交互，完整执行从买好票到订好餐厅的终端状态。

该团队首次基于深度推理、工具使用与用户交互三大维度对智能体任务进行了量化拆解，以可控地构建复杂问题。团队发现，即便是当前领先的推理模型，在主榜（复杂跨场景任务）中的成功率也仅有 30%，揭示了现有智能体与复杂真实生活场景应用需求之间的显著差距。VitaBench 现已全面开源，旨在为推进智能体在真实生活场景中的研发与应用提供重要基础设施。

美团 LongCat 团队发布 Agent 评测基准“VitaBench”

随着大语言模型在复杂推理与工具调用能力上的快速进步，基于 LLM 的智能体在真实生活场景中的应用日益广泛。然而，现有的智能体评测基准与现真实生活场景的应用需求之间依然存在显著差距，主要体现在：工具生态简单化、信息密度不足、模型探索性受限、交互动态性缺失。

通过对美团生活服务场景的深入分析，LongCat 团队指出：真实世界的任务复杂性，源于三大维度的交织 ——

  • 推理复杂性：需整合多源信息、自主推理规划任务完成路径；
  • 工具复杂性：需在高度互联的工具图中理解领域特征，精确调用目标工具；
  • 交互复杂性：需在多轮对话中主动澄清、追踪意图、适应多样化的用户行为并给予反馈。

为系统衡量这三重挑战下的模型表现，团队构建了 VitaBench，一个依托“生活服务”场景、高度仿真的综合性 Agent 评测基准。VitaBench 的评测榜单未来将长期维护更新，现已全面开源：

项目主页：https://vitabench.github.io

论文链接：https://arxiv.org/ abs / 2509.26490

代码仓库：https://github.com/ meituan-longcat / vitabench

数据集：https://huggingface.co/ datasets / meituan-longcat / VitaBench

排行榜：https://vitabench.github.io/#Leaderboard

相关文章

发表评论

长征号 Copyright © 2013-2024 长征号. All Rights Reserved.  sitemap