暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

Tendis在实时数仓中的应用--王新春 | 3306π上海站专访

3306pai 2021-10-11
604

01

会议议程




02

嘉宾介绍



王新春

公司:唯品会

职位:高级研发经理



主题:Tendis在实时数仓中的应用


03

采访明细







1.王老师在数仓领域无论是产品还是架构都有着丰富的经验。能否请王老师先向3306π的伙伴们介绍下自己呢?




大家好,我在唯品会负责数据平台相关的工作,包括计算(实时、离线、OLAP、AI)和存储(HDFS)等底层平台、以及底层公共数据(实时和离线)的建设等。



2.3306π的伙伴们中,不仅有经验丰富的老朋友,也有刚刚步入数据行业的新同学,小编请王老师分享下,您看待目前新同学进入大数据行业,有哪些好的学习渠道以及需要哪些必备技能呢?





主要还是找准一个切入点,在这个切入点上进行深入,然后由点入面。这个切入点可以是某个技术,如流计算Flink、批Spark SQL等。在熟悉了其中一个框架和计算后,再逐步加大知识面,了解整个大数据的生态体系。这个过程可能需要比较长的时间,需要大家持续的投入。



3.实时计算在数仓相关工作中,一直被大家津津乐道,也是一个数据量越高,难度越大的挑战目标。王老师觉得实时计算,有哪些关键的考虑因素呢?





第一是对业务的理解,你的业务到底要达到什么效果和目的,然后技术上才知道选择什么合理的方案

第二是对技术的理解,实时计算不光是Flink,也包括其他非常多的组件如Kafka、HBase、HDFS等融合在一起的,才能构成一个端到端的完整链路。因此需要了解整个实时计算的典型概念、如状态、窗口、完整性语义保证的技术、数据的最终存储等。然后结合其他组件,可以达到整个业务的目标


4.Tendis是由腾讯推出的非常火热的一款KV存储产品,据说结合了Redis和MySQL的优势,非常适合用于高吞吐低延时的业务场景,王老师本次分享的主题是《Tendis在实时数仓中的应用》,可否谈谈您选择使用Tendis的原因?




在经过多次调研和测试,目前Tendis是我们在众多KV存储中,最符合我们需求的一款产品。我们主要看中如下几点:

1.100%兼容Redis协议和主要的数据结构,使用上非常便利,无需增加额外的学习成本;

2.可以支持集群模式,对于海量数据的存储扩展是非常友好的,同时使用和运维习惯也与Redis cluster完全一致;

3.性能上可满足高QPS的需求,单集群可轻松提供百万级的QPS和10ms左右的时延,相比其他KV存储产品,性能方面也更有优势;

4.具备良好的社区支持,我们遇到的任何问题都能得到快速的解决



5.最后小编想请王老师和大家谈一谈,您是如何看待数仓未来发展趋势,以及企业中的定位呢?





首先对数据时效性的需求肯定是越来越强,这个是数据驱动业务发展的明显的趋势。从技术上来讲,数据湖是未来几年一个热点的趋势。这里面也包括了比较多的技术快速的迭代和演进,包括Hudi、Iceberg、Delta Lake等。今年是广泛在业界落地的一年,诞生了一些比较重量的场景的落地,如实时数据入仓、增量计算等。未来2-3年,相信会在数仓的建设中产生越来越重要的作用。



04

关于3306π


围绕 MySQL 核心技术,将互联网行业中最重要的数据化解决方案带到传统行业中;囊括其他开源技术RadonDB、ClickHouse、Redis、MongoDB、Hbase、Hadoop、ElasticSearch、Storm、Spark等;分享干货知识,即便是赞助商,也要求如此,拒绝放水


05

活动报名


扫描二维码

快速报名


特别提示本市的外部访客需要出示健康宝,外省市的访客需要健康宝+行程码【带星号*的无法进楼】

点击下方
阅读原文
即刻报名。
文章转载自3306pai,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论