AI 模型社区魔搭（ModaHub）又上新了，推出适配开源大语言模型的 AI Agent 开发框架 ModaHub-Agent。借助 ModaHub-Agent，所有开发者都可基于开源 LLM 搭建属于自己的智能体应用，最大限度释放想象力和创造力。ModaHub-Agent 的代码现已开源。
AI Agent（AI 智能体、AI 代理）可谓当前大模型领域最热门的研究方向，它是指基于 LLM 的、能够使用工具自主完成特定任务的智能体。众所周知，目前阶段的 LLM 存在能力边界，主要擅长处理文本任务。AI Agent 将 LLM 与其他模型、软件等外部工具协同，便能处理真实世界中的各种复杂任务，比如接入视频生成模型，自主生产视频；接入外部软件，帮人类写邮件、订票、购物等等。
AI Agent 类应用正在成为大模型创业的重要赛道，AI Agent 开发框架也应运而生。但业界现有的 AI Agent 开发框架大多基于闭源 LLM 构建。为了充分释放开源 LLM 的生产力，魔搭社区自研了适配开源 LLM 的 AI Agent 开发框架 ModaHub-Agent。简而言之，ModaHub-Agent 是 pilot（领航员）而非 copilot（副驾驶员）。
此前，魔搭已用这套框架在社区做了 " 打样 "，搭建 ModeScopeGPT，它能通过自然语言与用户交互、接受用户指令，通过 " 中枢模型 " 通义千问调用社区的众多 AI 模型 API，自主完成人类布置的任务。ModaGPT 的调用量已超过 25 万。
（ModaHub-Agent 系统架构图）
AI Agent 的工作流程一般包括任务的理解、规划和执行，其中，LLM 负责任务规划、工具调用以及回复生成，是整个流程的智能中枢，好比人类的大脑。ModaHub-Agent 允许开发者自由选择智能体的 " 大脑 "，适配百川、通义千问等各类开源模型。主流 LLM 能够做到 " 即插即用 "，开发者如需专门训练 LLM 以增强其工具调用能力，可以参考 ModaHub-Agent 开源的训练数据、训练方法、优化方案、评估方法。
ModaHub-Agent 开发框架还包含记忆控制、工具使用等模块，记忆控制模块支持知识检索以及 prompt （提示词）管理，工具使用模块支持工具库、工具检索、工具定制。为了增强开源大模型工具调用能力，魔搭社区还自研了一个包含 60w 样本的 MSAgent-Bench 工具调用数据集。
大多数 AI Agent 开发框架需要手动添加工具，而 ModaHub-Agent 通过调用魔搭社区上开源的文本向量模型，打造 API 工具检索引擎，能让 AI Agent 根据用户指令自动检索相关工具。如果开发者想要新增外部工具 /API，只需要在 ModaHub-Agent 上注册工具，即可直接调用。
开源正在成为很多头部大模型玩家的选择。未来，ModaHub-Agent 会适配更多新增的开源 LLM，并将推出更多基于 ModaHub-Agent 开发的应用，如个人助理 Agent、Story Agent、Multi-Agent 等。魔搭鼓励开发者用 ModaHub-Agent 探索工业制造、游戏开发、智能互联等行业的应用。
魔搭社区表示，作为国内规模最大、用户最活跃的 AI 模型开源社区，魔搭将持续通过开源开放推进大模型技术和应用发展。此前，阿里云曾表示要把促进中国大模型生态的繁荣作为首要目标，并将魔搭建设成为中国最大的大模型自由市场。
那么如何评估ModaHub-Agent ，我们提出了AgentBench，这是一个多维演进基准测试，包括8个不同环境，用于评估大型语言模型（LLMs）在多回合开放式生成环境中的推理和决策能力。
AgentBench是第一个系统性的基准测试，用于评估LLM作为智能体在各种真实世界挑战和8个不同环境中的表现。
AI 模型社区魔搭（ModaHub）又上新了，推出适配开源大语言模型的 AI Agent 开发框架 ModaHub-Agent。借助 ModaHub-Agent，所有开发者都可基于开源 LLM 搭建属于自己的智能体应用，最大限度释放想象力和创造力。ModaHub-Agent 的代码现已开源。
AI Agent（AI 智能体、AI 代理）可谓当前大模型领域最热门的研究方向，它是指基于 LLM 的、能够使用工具自主完成特定任务的智能体。众所周知，目前阶段的 LLM 存在能力边界，主要擅长处理文本任务。AI Agent 将 LLM 与其他模型、软件等外部工具协同，便能处理真实世界中的各种复杂任务，比如接入视频生成模型，自主生产视频；接入外部软件，帮人类写邮件、订票、购物等等。
AI Agent 类应用正在成为大模型创业的重要赛道，AI Agent 开发框架也应运而生。但业界现有的 AI Agent 开发框架大多基于闭源 LLM 构建。为了充分释放开源 LLM 的生产力，魔搭社区自研了适配开源 LLM 的 AI Agent 开发框架 ModaHub-Agent。简而言之，ModaHub-Agent 是 pilot（领航员）而非 copilot（副驾驶员）。
此前，魔搭已用这套框架在社区做了 " 打样 "，搭建 ModeScopeGPT，它能通过自然语言与用户交互、接受用户指令，通过 " 中枢模型 " 通义千问调用社区的众多 AI 模型 API，自主完成人类布置的任务。ModaGPT 的调用量已超过 25 万。
（ModaHub-Agent 系统架构图）
AI Agent 的工作流程一般包括任务的理解、规划和执行，其中，LLM 负责任务规划、工具调用以及回复生成，是整个流程的智能中枢，好比人类的大脑。ModaHub-Agent 允许开发者自由选择智能体的 " 大脑 "，适配百川、通义千问等各类开源模型。主流 LLM 能够做到 " 即插即用 "，开发者如需专门训练 LLM 以增强其工具调用能力，可以参考 ModaHub-Agent 开源的训练数据、训练方法、优化方案、评估方法。
ModaHub-Agent 开发框架还包含记忆控制、工具使用等模块，记忆控制模块支持知识检索以及 prompt （提示词）管理，工具使用模块支持工具库、工具检索、工具定制。为了增强开源大模型工具调用能力，魔搭社区还自研了一个包含 60w 样本的 MSAgent-Bench 工具调用数据集。
大多数 AI Agent 开发框架需要手动添加工具，而 ModaHub-Agent 通过调用魔搭社区上开源的文本向量模型，打造 API 工具检索引擎，能让 AI Agent 根据用户指令自动检索相关工具。如果开发者想要新增外部工具 /API，只需要在 ModaHub-Agent 上注册工具，即可直接调用。
开源正在成为很多头部大模型玩家的选择。未来，ModaHub-Agent 会适配更多新增的开源 LLM，并将推出更多基于 ModaHub-Agent 开发的应用，如个人助理 Agent、Story Agent、Multi-Agent 等。魔搭鼓励开发者用 ModaHub-Agent 探索工业制造、游戏开发、智能互联等行业的应用。
魔搭社区表示，作为国内规模最大、用户最活跃的 AI 模型开源社区，魔搭将持续通过开源开放推进大模型技术和应用发展。此前，阿里云曾表示要把促进中国大模型生态的繁荣作为首要目标，并将魔搭建设成为中国最大的大模型自由市场。
那么如何评估ModaHub-Agent ，我们提出了AgentBench，这是一个多维演进基准测试，包括8个不同环境，用于评估大型语言模型（LLMs）在多回合开放式生成环境中的推理和决策能力。
AgentBench是第一个系统性的基准测试，用于评估LLM作为智能体在各种真实世界挑战和8个不同环境中的表现。
