2600 万表流计算分析如何做到？ TDengine 助力数百家超市智能化转型

TDengine 2025-02-12

286

- 小T导读 -

在生鲜超市的高效运营中，实时数据分析至关重要。万象云鼎的“云鲜生”通过智能秤+网关+软件系统的组合，实现了销售数据的精准管理与优化，覆盖 260+ 客户、700+ 超市。而在数据处理方面，TDengine 的流计算能力成为了这一方案的核心支撑。本文详细分享了“云鲜生”如何利用 TDengine 高效存储和分析海量销售数据，在优化超市运营、提升用户体验的同时，解决高基数分组、高并发查询等技术挑战。

作者 | 万象云鼎研发团队宋慧民姜涛

在生鲜超市的主营业务里，生鲜产品如新鲜的肉类、蔬菜、水果等，大多只有较短的保质期，需要在特定的温度、湿度和环境条件下储存，以保持其新鲜度和品质。稍有不慎便可能导致产品变质甚至腐烂。此外，这类产品受季节和地域因素影响，供应往往不稳定。因此，一个优秀的生鲜超市虽然可以为消费者提供丰富多样的选择，但是其管理难度同样极高。

由我司万象云鼎研发的“云鲜生”——一套基于“智能秤+网关+软件系统”的生鲜行业智慧门店管理方案，正是为了解决这些管理难题而生。我们的智能秤能够实现自助称重、结算以及产品数据可视化，同时支持将所售商品信息、订单数据等实时上传至云端，通过对这些数据的高效管理和实时分析，助力超市优化运营、提升客户体验。

PART.01

产品定位

我们希望可以为超市经营者解决以下问题：

1.提高超市的用户购物效率，提升 C 端用户的满意度。

2.降低超市人力成本、通过自动化/数字化设备技术，减少收银、用户沟通等由人力产生的误差。

3.提供动态的定价策略：基于实时的销售数据和生鲜商品的保质期，给商家提供充足信息，实施动态定价策略，比如立刻开展促销/折扣活动。

4.支持各种维度的数据分析，包括特定商品、特定客户的全部门店或分店，以及不同摊位类型的实时与历史销售数据。通过这些信息，超市经营者可以清晰了解畅销与滞销商品的分布，并深入分析为何同款产品在相同时间段内，在 A 店热销，而在 B 店却无人问津等运营难题，使决策更加精准高效。

PART.02

Why TDengine？

TDengine 作为涛思数据的旗舰产品，其核心是一个高性能、分布式的时序数据库。通过集成的缓存、数据订阅、流计算和数据清洗与转换等功能，TDengine 已经发展成为一个专为物联网、工业互联网、金融和 IT 运维等关键行业量身定制的时序大数据平台。

在这一需求背景下，我们发现 TDengine 产品定位与之高度契合，因此开始了对 TDengine 的深入探索与应用。

我们的产品是一款基于自建服务器的 SaaS 服务，通过 Web/App 提供功能。在产品诸多特性中，最重要的一个核心特性就是实时获取商品当日的销售量/销售额状况。经过深入分析，我们发现 TDengine 的流计算是实现这一需求最合适的选择。

PART.03

流计算的应用

首先，我们以“一台智能秤一张表”建模方式存储全部的销售记录，如下：billpay 超级表以支付方式的维度进行记录，billsale 表以商品的维度进行记录。

数据经由每家超市部署的网关统一写入到 TDengine 当中。

接下来，基于 billsale 表，我们创建了一个名为 stream_billsale_day 的流计算任务，计算结果将存入另一个库中的 billsale_day 超级表中：


create stream stream_billsale_day
 trigger at_once
 IGNORE EXPIRED 0
 fill_history 1
 into possum.billsale_day
 TAGS (tenantid int,shopid int,userid int,stalltype int,productid bigint,subproductid bigint)
 SUBTABLE(CONCAT('saleday_', tbname))
 as
 select _wstart as saledate,
 sum(cast(case when IsReturn=0 then qty else 0 end as bigint)) as saleqty,
 sum(cast(case when IsReturn=0 then money else 0 end as bigint)) as salemoney,
 sum(cast(case when IsReturn=1 then 0-qty else 0 end as bigint)) as refundqty,
 sum(cast(case when IsReturn=1 then 0-money else 0 end as bigint)) as refundmoney,
 max(price) as maxprice,min(price) as minprice,last(saletime) as lastsaletime,first(saletime) as firstsaletime from billsale
 PARTITION BY tbname,tenantid,userid,shopid,stalltype,productid,subproductid 
interval (1d);

该流计算逻辑如下，通过对以下标签：tbname（智能秤设备名），tenantid（租户ID）、shopid（商店ID）、操作人员编号（userid）、stalltype（摊位类型）、productid（产品ID）、subproductid（子产品ID）执行分组之后，再按照一天的时间窗口来统计如下字段：