如何弥补VERTICA在网络智能和自动化应用中的不足？

VoltDB中文社区 2021-08-20

175

为了提供可靠、快速和迅速响应的服务，供应商需要实时自动化地通过其网络流式传输设备收集到的数据做出可能出现的操作分析。

多年来，人们在网络分析中无法同时兼顾速度和数据粒度。或者可以同时享受速度和粒度，但是不能满足预测趋势、规划基础设施等服务所需的必要的长期数据保留要求。但现在，情况发生了一些变化。

在这篇文章中，我将讨论 VoltDB 数据库如何与 Vertica 数据库协同工作。Vertica 目前在全球领先的网络数据分析功能 (NWDAF) 和网络智能解决方案中支持事后分析，以提供全面的洞察力和即时的可操作性。

网络智能给数据库带来的挑战

深度数据包检测、网络智能、入侵检测和入侵防御会生成大量关于流经运营商网络的数据包粒度数据，并带有用户和设备标识、IP地址和主机名、协议、服务名称和类别，以及例如内部和外部延迟以及传输、丢弃或延迟的数据包和字节数等重要的统计数据。系统每秒可以多次发出这些数据包流的统计信息，这可以转换为每秒数亿条记录，达到了千兆字节。

不幸的是，大多数数据库根本无法很好地从如此庞大的数据流中分析信息，即使在少数可以进行分析的情况下，几乎也都牺牲了即时一致性或查询执行时间。

网络智能供应商曾尝试了一种非常昂贵的解决方案来处理庞大的数据流——将他们的底层数据库扩展到数十个节点，但他们不得不将更新间隔回拨到五分钟甚至十五分钟，因此为了不需要数小时甚至数天才能返回查询结果，他们选择牺牲99%有价值的数据。

如果没有细粒度的数据和响应能力，网络智能和网络自动化能否成功？

遗憾的是，大多数网络自动化供应商都忽略了对他们的解决方案十分有用的细节：一些可能预示流量激增的因素，通过及时通知并调整以避免中断、滞后、缓冲，以及其他会引起数百万用户不满的因素；数据点预示着巧妙的网络渗透并阻止了数以亿计的金融账户详细信息被盗；以及可以帮助运营商减轻因盗版、互连旁路（SIM 卡盒子）欺诈和其他计划造成的数十亿损失的重要细节。他们因为延长了更新间隔，而忽略掉了一些重要的细节。

在更新间隔之间出现的持续时间非常短暂的事件根本不会被网络智能重视。例如，当某个地区的数以万计的用户经常遇到服务降级或中断的持续时间小于更新间隔，但对他们中的许多人来说这样的时间又很长时，他们会将客户服务质量与电话和信息联系起来，因此可能会去选择其他网络运营商。这些自动化并未触发的情况可以通过调整策略、重新路由流量或派遣维护人员来轻松避免。

牺牲交易粒度也没有得到更好的查询响应结果，因为它们的执行时间仍然太长——通常情况响应时间是几分钟，但有时也会出现几个小时。在只有几千个用户的最小MVNO和ISP上，查询可能会在几秒钟内完成，但大多数运营商发现，许多常规查询，尤其是那些涉及聚合函数的查询，产生响应的时长太长，因此无法在其实际的自动化方案中使用。当然，他们可以使用返回的一些信息做网络容量规划等事后操作，但他们无法及时通知会对体验、质量和盈利能力产生直接影响的自动化信息。

今天，许多网络运营商仍然无法抓住一些重要的机会，而这些机会只能通过在个位数的毫秒内处理数据，并且根据洞察采取行动来获得。例如，许多移动网络运营商、移动虚拟网络运营商错过了预付费移动充值带来的收入翻番的机会，并阻止了许多用户转向其他网络智能服务商。

然而，部署以VoltDB驱动的解决方案的运营商一直在提供提前的个性化通话时间和数据包优惠，以吸引用户充值和增加用户忠诚度。在通话时间或数据用完之前——或者甚至在通话时间用完之后，但在客户将手机放入口袋或换掉 SIM 卡之前的宝贵几毫秒内——用户会收到定制的、通过机器学习算法预测到的，他们很可能会接受的通话时间或数据包预充值优惠。当然，这些优惠会在合理的时间内获得回报。因此，一些运营商的使用量激增150%甚至更多，通话时间预充值现在占预付费充值总收入的一半左右。

提供速度和深入的洞察力

网络智能解决方案一直在做的一件事是按各种类别汇总统计数据，例如订阅用户、订阅用户类别、服务或应用程序、服务类别、协议和订阅计划。它们甚至将数据按时间戳和时间段聚合。这些系统不断将原始统计数据转换为关键性能指标，并在服务或应用程序需求、订阅计划等上下文信息中对其进行解释。

应用程序依赖于这些情境化的KPI、这些服务质量和体验质量的度量，进而触发相应的操作。这些聚合操作是所有其他数据库在性能和有效性方面不足的地方。

但是我们专门为具有瞬时物化视图的快速聚合操作构建了VoltDB数据库。VoltDB的物化视图提供对聚合数据的即时可见性，每次插入和更新始终保持最新事务一致，只需要几微秒即可刷新，而不是几分钟甚至几小时。并且可以通过标准SQL和存储过程轻松访问，通常不到一毫秒。

网络智能服务商希望这种即时响应能够自动化通知，从而使他们的网络以最佳、最安全和更好的方式运行，并以此吸引和服务于他们的客户。

提供可操作的情报和长期数据保留功能

当然，人们不能长期的将所有的数据都保存在VoltDB中。也许某天，我们都可以访问拥有数PB（存储单位，1PB=1024 TB = 1,024*1024 GB）的RAM的系统，这样任何人都可以无限期地保持这种量级的数据在线，但要达到这种水平，还有很长的路要走。当然，VoltDB不是为了大数据而构建的。相反，它针对快速数据进行了优化，它仅保留处理数百万需要在几毫秒内执行操作的并发流事件所需的上下文数据。

尽管如此，许多监管机构仍要求供应商将某些记录保留数月甚至数年。这就是为什么我们为VoltDB提供了自动迁移旧数据的能力，如有必要，在导出到其他数据库（如 Vertica或数据池）之前将其聚合。绝大多数监管机构只要求保留汇总数据。无论粒度或保留期如何，将VoltDB和Vertica结合使用，可以准确、实时交付的可操作的网络智能服务所需的一切，同时也提供事后流程所需的一切。

结论

作为一个可扩展、内存中、符合 ACID 的数据库，支持针对大容量、高速数据流的实时聚合和实时SQL分析，VoltDB完美补充了嵌入在领先网络智能解决方案中的Vertica数据库。

VoltDB提供了有效网络自动化所需的一致、实时的产生响应结果，让Vertica能够专注于提供长期存储、高效的事后分析以及能够在更长时间内运行的机器学习算法。

关于VoltDB

VoltDB支持强ACID和实时智能决策的应用程序，以实现互联世界。没有其它数据库产品可以像VoltDB这样，可以同时需要低延时、大规模、高并发数和准确性相结合的应用程序加油。

VoltDB由2014年图灵奖获得者Mike Stonebraker博士创建，他对关系数据库进行了重新设计，以应对当今不断增长的实时操作和机器学习挑战。Stonebraker博士对数据库技术研究已有40多年，在快速数据，流数据和内存数据库方面带来了众多创新理念。

在VoltDB的研发过程中，他意识到了利用内存事务数据库技术挖掘流数据的全部潜力，不但可以满足处理数据的延迟和并发需求，还能提供实时分析和决策。VoltDB是业界可信赖的名称，在诺基亚、金融时报、三菱电机、HPE、巴克莱、华为等领先组织合作有实际场景落地案例。

如果您希望集成VoltDB到您的技术栈中，

请与我们联系！

VoltDB中国网站：👇

https://www.voltdb-china.cn/

欢迎扫码添加小助手

进入到我们的官方微信交流群

扫描二维码

加入VoltDB交流群

注明公司实时探讨

数据库

文章转载自VoltDB中文社区，如果涉嫌侵权，请发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。

如何弥补VERTICA在网络智能和自动化应用中的不足？

评论