今日，亚马逊宣布推出Amazon Nova Act及其SDK研究预览版，这是一项重要的AI创新，让开发者能够构建在网页浏览器中完成任务的Agents。用户现可通过nova.amazon.com轻松访问和探索这一全新技术。
背景介绍
亚马逊致力于提供具有实际价值的生成式AI解决方案，以简化购物者、卖家、广告商和企业的生活，此前已推出Alexa+、Amazon Q和Rufus等生成式AI应用。
“nova.amazon.com为每位开发者和技术爱好者打开了掌握亚马逊前沿智能的大门，使探索Amazon Nova的功能更简便。我们构建这个渠道，旨在激发构建者的灵感，让大家能够迅速使用Amazon Nova模型测试其创意，并在Amazon Bedrock中大规模应用。这标志着AI快速探索的又一激动人心的进步，包括Amazon Nova Act SDK等顶尖功能，用于构建能在网络上执行操作的Agents。我们期待见证大家的创新成果，并听取宝贵的反馈意见。”
——Rohit Prasad
亚马逊通用人工通用智能
高级副总裁
re:Invent 2024大会上，首次推出了Amazon Nova基础模型系列，包括：
Amazon Nova Micro、Lite和Pro用于文本生成；
Amazon Nova Canvas用于图像生成；
Amazon Nova Reel用于视频生成。
核心优势
自从大语言模型（LLM）进入公众视野以来，Agents主要是指能够用自然语言回应用户，或通过检索增强生成（RAG）技术利用知识库的系统。但现在Agents是能够代表用户在各种数字和物理环境中采取行动、完成任务的系统。如今，这类系统仍然处于新兴阶段，并且大多数仅限于并不多见的API完全覆盖的用例。
亚马逊致力于让Agents能够执行广泛、复杂、多步骤的任务，比如策划婚礼或处理复杂的IT任务，以提高企业生产力。尽管当前技术已经能够很好适应某些应用场景，但被设定了高层次目标的多步骤Agents，仍然需要人类持续的密切关注和监督。
为了克服Agents的这一局限性，Amazon Nova Act SDK允许开发者将复杂工作流分解为可靠的原子命令，例如搜索、结账、回答界面相关问题。同时，Amazon Nova Act SDK还支持在必要时为这些命令添加更详细的指令，例如“不要接受保险追加销售”；调用API，甚至通过Playwright直接进行浏览器操作以进一步增强可靠性，例如输入密码。您可以穿插使用Python代码，无论是测试、断点、断言还是用于并行处理的线程池，因为即使是最快的Agents也会受到网页加载时间的限制。
*由亚马逊通用人工智能团队进行了基准测试。在基准测试中，提示词通常保持简单，例如对每个元素使用“点击<元素>”。在测试中，替代提示词并未提高性能，但可能还有进一步的提示词优化空间。结果是由亚马逊内部用于评估目的而测量的，使用（i）Bedrock API对Claude 3.7 Sonnet进行测试。
应用场景
Amazon Nova Act注重可靠性，一旦系统运行正常，就无需再监视每一步操作的执行过程，您可以开启无监管模式，将Agents转变成一个可以集成到产品中的API，甚至根据需要设置异步运行。
Amazon Nova Act已在多个领域展现出强大潜力：
该视频通过一个寻找公寓的实例展示了Amazon Nova Act的实际应用：开发者可以使用Pydantic类进行结构化数据提取，并结合其他Python工具来增强功能。该示例展示了如何查找雷德伍德城的两居室公寓，并计算每个房源到最近火车站的骑行距离。
该视频展示了Amazon Nova Act的自动化调度功能。通过一个实际的外卖订餐示例展示了这一功能：通过设置Cron作业，系统可以在每周二晚上自动完成搜索特定餐品、添加到购物车并完成结账的全过程，实现真正的“无人值守”自动化。
这段视频展示了Amazon Nova Act在非预期环境下的适应能力和多样性应用。开发团队成员使用Amazon Nova Act来玩一款鸽子对战游戏。尽管模型从未经过专门训练来处理这类游戏，但它仍然成功地完成了属性点分配，并在战斗中取得了连胜，最终使游戏角色进化成为一只强大的鸽子。
这段视频展示了Alexa新推出的网页操作SDK功能，通过与Thumbtack平台的集成，实现了智能家居维修预约服务。
未来展望
Amazon Nova Act是亚马逊实现构建大规模实用Agents关键能力愿景的第一步。我们正使用Amazon Nova模型开展一项大型培训项目，这是早期检查点之一。为了使Agents在处理日益复杂的多步骤任务时真正智能且可靠，就需要在各种实用环境中通过强化学习训练Agents，而不仅仅是通过简单演示对大语言模型进行监督微调。
立即体验
Agents最具价值的用例尚未被发掘，而这一重任将落在最优秀的开发者和设计师肩上。通过推出Amazon Nova Act SDK研究预览版，与开发者携手并进，借助快速原型设计和迭代反馈机制不断加以改进。感谢您陪伴我们一同踏上这段旅程！
注：位于美国且拥有亚马逊账户的用户现在只需访问nova.amazon.com，即可开启探索之旅，或下载Amazon Nova Act着手构建Agents。
期待你的分享 收藏 在看 点赞！
亚马逊的一小步，云计算的一大步！
