【Reli】基于Amazon Bedrock推出 “筑巢日记”，一键生成观鸟Vlog

概 述

机会 | 利用生成式AI提升用户观鸟体验

一个可能鲜为人知的事实是，根据美国鱼类和野生生物管理局的统计，美国3.3亿人口中的20%是观鸟爱好者，而这4500万观鸟者中的3900万人会选择在家或邻近区域赏鸟。Reli的业务起步于美国，并在Kickstarter上众筹了一款智能鸟窝，并成为该类目最受欢迎的产品之一。此后，Reli相继推出智能喂鸟器、智能鸟浴等针对爱鸟人士的智能硬件产品，持续提升在野生动物爱好者中的影响力。但在实际应用中，无论是家庭安防摄像头还是观鸟类摄像头，用户都需要观看完整视频才能获取到视频记录了什么样的内容，但观察并记录鸟儿的视频时间跨度可能长达数月，而大部分画面是无意义或重复的，因此用户获取有效画面的效率较低。生成式AI问世以来，借助大语言模型（Large Language Model，LLM）自动识别、抓取视频画面，并高效生成精彩时刻视频，通过更好的交互性和趣味性提升用户体验、增强用户粘性，成为Reli的关键诉求之一。

然而，在利用LLM生成精彩时刻视频过程中，Reli 发现视频画面和字幕配音的对齐匹配存在挑战，比如Reli记录的画面中第15秒发生某瞬时事件，但生成的字幕配音需要5秒才能讲述完成，导致字幕配音与实际画面无法匹配，非但不能给视频添光加彩，反而给用户带来困扰。所以，如何利用LLM生成带有字幕和配音的Vlog，并解决字幕、配音与视频画面对齐问题成为Reli面临的首要挑战。

凭借亚马逊云科技在云计算和人工智能及生成式AI的领先优势，Reli期望与亚马逊云科技合作，共同探索生成式AI在多模态领域的应用，为全球用户打造领先的AIoT产品，重新定义人与自然的互动。

解决方案 | 基于Amazon Bedrock

调用LLM推出“筑巢日记”

自动生成精彩时刻视频集锦

Reli的产品刚上线就受到用户的追捧，目前已有大量的用户购买和使用Reli公司推出观察野生鸟类的相关智能IoT设备，这些设备7*24小时持续产生视频数据，且每月的数据规模还在以翻番的速度增长。为保障用户随时随地获取流畅的体验，Reli始终高度关注设备的安全稳定连接，视频数据的可靠存储以及用户的便捷访问。

Amazon IoT Core可支持数十亿台设备连接以及数万亿条消息传送，每分钟同时在线数设备数高达3亿台。借助Amazon IoT Core，Reli可以让所有设备在低功耗状态下实时安全连接，远程唤醒设备。

作为亚马逊云科技的推出的第一个云服务，Amazon S3目前已经为全球数百万来自各行各业的客户存储了超过350万亿个对象，平均每秒处理超过1亿次请求。Reli将用户的摄像头全天记录的视频数据全部存储在Amazon S3上，可靠、便捷的云存储让用户可以随时在线实时观看或回看鸟儿视频。

Reli基于亚马逊云科技的产品架构示意图

业务成果 | 生成式AI应用提升用户观鸟体验

研发周期缩短一半

人力投入节省50%

以前Reli通过通过公开数据集自行训练的模型，仅能识别约400种鸟儿，且容易产生幻觉，如将松鼠识别成鸟类等。通过Amazon Bedrock采用Claude 3.5 Sonnet后，Reli可以为其海外用户识别超过1000种鸟儿，而且识别精度大大提升。

此外，Reli的竞品大多只能提供每天的源视频，用户想要精华视频只能自己二次剪辑处理。但Reli的“筑巢日记”功能推出后，用户可以在Reli App上对长达60天的源视频一键进行筛选、剪辑、字幕生成并合成，轻松观看鸟儿的筑巢、孵化等精彩时刻，并分享到社交媒体上，创新体验大大提升用户粘性。

借助亚马逊云科技遍布全球的基础设施，帮助Reli在北美、欧洲等区域高效部署业务并安全运营。此前，欧洲用户反馈Reli App响应有时延，打开App并加载首页的时间需要5秒。亚马逊云科技迅速响应，借助其在欧洲的基础设施帮助欧洲用户访问加速，优化之后，用户访问Reli App并加载首页的时间控制在1秒以内。亚马逊云科技的多区域部署让Reli的业务更靠近用户，降低延迟的同时确保本地的安全合规要求。