暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

五大亮点升级,偶数科技数据中台Lava 3.2新版本发布

原创 偶数科技 2020-09-04
1068

随着疫情的离去,近期偶数科技也更新了数据中台产品Lava 的3.2版本。本次发布主要在如下五个方面做了优化:

1. 更强大的数据同步工具WASP

数据同步工具是数据中台必备的工具之一,WASP负责同步异构的业务数据到数据中台,以构建数据仓库,该功能可以灵活的应用于多种业务场景。

640.gif

根据数据同步的方式分为两种:全量、增量。本次更新,在原本支持Oracle、DB2、MySQL、Postgres等数据源的基础上,增加了对HDFS、本地文件、SQLServer、DB2/AS400的支持。增加了新的并发数据同步的任务切分策略,再一次提高了数据同步的效率。

2. 作业调度工具LavaFlow

LavaFlow做了大量的优化的工作,比如:跨作业的任务依赖、超时报警机制、任务支持日期运行条件(如,只在周一执行,否则跳过);可以横置、纵置,可以折叠、展开流程图的分支等等。

2.gif

其中最大的亮点是沉浸式的在线脚本与作业流程的开发。如下图所示,该在线开发工具不但可以在线开发SQL、Shell脚本,还可以支持脚本的版本管理,查看历史版本,比较历史版本的改动历史,回退到某一历史版本等等。

3.png

第二大亮点是支持高可用,包括在线开发脚本的高可用。某个作业调度的节点宕机,作业调度可以继续工作并且不会丢失脚本。

3. 数据服务

数据中台不可或缺的功能模块,可以把数据的查询、数据的计算与AI模型封装成服务,使得第三方应用更方便的使用数据中台的数据资产、AI模型等。同时可以监控这些服务的调用情况。

微信图片_20200904115325.png

4. IDE集成开发环境

数据中台需要解决的大数据应用相关的问题之一是敏捷开发,数据的快速交付,IDE就是为此而生。

5.png

众所周知,Lava大数据平台包含或者开箱即用的集成了LittleBoy AI建模工具、WASP数据同步工具、LavaFlow作业调度工具、数据服务、AI服务等等。IDE的作用是以项目的方式组织这些大数据开发的任务:数据同步任务、AI训练任务、AI模型、作业调度作业与任务等等。

6.png

5. 运维模块

根据大数据各产品与服务的特点,重构了自动部署的框架,使得所有的服务的部署共用一套通用的框架,降低了支持新的服务的自动部署所需开发工作量,提高了自动部署的稳定性与容错性。

提供了Lava方便易用的系统命令,比如启动、停止lava集群的命令:lava start/stop cluster。

统一了日志目录,把所有组建日志目录统一到/var/log/目录下。包括数据同步工具WASP、AI与作业调度工具LavaFlow。




我们是偶数科技,更多信息请关注我们的公众号:偶数科技

微信图片_20200904133607.jpg

最后修改时间:2020-09-04 14:23:08
「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论

目录
  • 1. 更强大的数据同步工具WASP
  • 2. 作业调度工具LavaFlow
  • 3. 数据服务
  • 4. IDE集成开发环境
  • 5. 运维模块