暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

专访唐建法-从MongoDB中国第一人到TapData掌门人的故事

112

如果感兴趣PolarDB ,MongoDB ,MySQL ,PostgreSQL ,Redis, OceanBase, Sql Server等有问题,有需求都可以加群群内有各大数据库行业大咖,可以解决你的问题。加群请联系 liuaustin3 ,(共2340人左右 1 + 2 + 3 + 4 +5 + 6 + 7)(1 2 3 4 5 群均已爆满,请不要在问有没有位置谢谢)

每个人的生命中都会有偶然,偶然遇到一个认识很久,但他不认识你的人,一个机会,认识了唐建法老师,在NoSQL业界唐老师曾作为MongoDB大中华区的首席架构师,很多人的偶像,作为MongoDB的拥趸,我购买过唐老师在极客时间里的MongoDB 高手课,如果你听了他的课,一定会在他具有磁性的声音中,将你的MongoDB知识提高到一个新的高度。

在我的心里他应该是一个西装笔挺的高级IT人士,衣食无忧万众敬仰,从他的课程中,我也加深了使用MongoDB要具有高于传统数据库知识的一个加固的印象。

但这一切都在这次和他近距离的接触后,彻底打破我原有对他的假设,那么我们就通过这次的访谈,看看他到底是一个什么样的人,一段怎样有意思的故事,TapData 是什么,他离开MongoDB后去哪里了,他创业成功了吗?

访谈正式开始

临时工:唐老师好,我是Austindatabases的公众号的作者,我是您的Fan。

唐老师:你是那个Austindatabases的公众号的作者,我关注你了。

临时工:我知道唐老师,2020年1月18号关注的,当时关注我的人不多,我看到您关注我,有大咖关注,当时高兴了一个礼拜,我还和家里人说唐建法关注我的公众号了,不过后面好像您在MongoDB 的声音少了,是工作忙还是什么原因?

唐老师:哦,我离开MongoDB了,现在是一个自主的创业者,比较忙,比较少写文章了。

临时工:啊,不少MongoDB Fans同学都在问,唐老师去哪了,如果不打扰不麻烦的情况下,我能问吗?我这实际上有一个小栏目,临时工访谈,不知道您知道不知道,我这边也有不少MongoDB的 Fans也关心您去哪了,在做什么?

唐老师:可以聊聊,我创业去了,做我想做的事情,TapData 你有听过TapData 对吧?

临时工:这个知道的不多,看过一条醒目的新闻,说您融资到千万美元。

唐老师:哈哈,你这个还是我的Fan,光看到我融资了,TapData 是我创业的项目,当时我发现企业的一个急迫的需求,数据的重组和利用的问题,在MongoDB的时候就经常有客户提出这样的问题,我就记在心里,后来发现这是很多企业的通病,企业中的各个系统中,数据好像一个一个的孤岛,要重新利用这些数据是困难的成本也比较高,我最初的初衷是建立一个打通各个业务系统中的数据通道,通过这个平台能进行实时的数据同步和数据的实时服务,让TapData如同数据信息的高速公路,将企业中的各个数据库中的数据通道打通,如同我们广告语,让企业使用TapData后就如同打开水龙头一样使用数据。

临时工:唐老师,我个人浅薄的认为,咱们业内是有一些解决方案的,比如datax, canal 等开源软件可以解决企业的数据转移和移动的问题,咱们产品有什么核心竞争力吗?那些软件是免费的,咱们的产品有市场吗?

唐老师:每个产品都是有他自己的适应场景的,如同MongoDB一样我不会让他去做collection之间的Join连接一样,Datax 和 Canel 都有他工作的适应场景,Datax主要是针对批量的数据采集,它是一个非实时的产品,也就是说你不能指望datax 能做秒级别,甚至分钟级别的数据服务,Canel 是一个实时的复制工具,但他的问题是适用的场景太少了,主要是针对MySQL 并且使用起来复杂,需要懂得的人去维护。TapData 的初衷其实不是要做一个类似DataX 和Canal 数据同步工具,只不过这个实时传输的能力,是我们想要打造的实时数据平台的一个非常关键的基础模块。我们的特点是需要支持企业所有的数据源的实时复制到中央平台,如Oracle,DB2, Sybase, Sql Server等其他商用数据库。从这个定位点上,TapData 和这两个产品都有一个非常大的区分点,无论是从支持的数据源的数量,及数据的时效性和事务性上看。

临时工:我相信您这个产品一定非常棒,技术领先。那您是一个成功的创业者,有一个成功的项目产品,为您感到高兴。

唐老师:没有那么容易,产品是需要磨练的,不是一个Idea,一个想法,有了投资就可以获得所谓的“成功”的。



临时工:是吗,唐老师,我不这么看,您之前在MongoDB中文社区,上万的拥趸,行业的知名人物,您创业应该很简单,很多企业凭着你的之前的履历也不会拒绝您和您的产品,我这样想没有错吧?我之前学MongoDB的时候,还做了点功课,对您有一个小调查,您不是完全国内教育体系下出来的人,您在国外求学,并且在跨国公司工作,新加坡,美国西雅图,知名企业的架构师的经历,并且您搞过社区,有号召力,我不认为您创业有多难?

唐老师:并没有,我们做的是To B的业务,并不是什么社区,我们要面对的是企业,企业的决策者不是个体,不是你有号召力就可以信任你,一个企业里面有众多的决策者,从产品的使用者,产品的受益者,到购买产品的决策者,甚至法务都会参与意见,所以和你们想的并不一样,以前MonogDB的经历会让我获得一些沟通的机会,但最终能不能获得试用的意向,要看产品和产品与企业的匹配度。

      事实上,TapData 最开始的想法是要做一个Real Time Data Platform, 以一个实时主数据服务平台的模式解决企业内部的实时数据的共享和分发的理念,但是这个产品在落地的时候非常困难。本质上这个架构是有一些技术挑战的,有一些可遇见的技术风险,部分客户可能还是选择自研 – 并不是说自研成本低,相反成本更高且周期更长,自研项目失败风险也高。我们的产品要给客户的是信心,早期的时候我们需要和一些有远见,愿意共创,和愿意承担可控风险的客户来合作,不过现在对我们来说这些都是过去时了。

      我记得我们第一个拿下的客户,就是这样的一个具有创新精神的企业,他们的方案依赖于MQ(类似Kafka)+各种代码的开发,通过这样的方式来交付前端业务对企业核心ERP系统的多种多样的数据的需求。这样的方式存在开发交付周期很长,没有复用性的通病,当时他们聊了几个数据中台厂商,发现他们都是通过静态指标设计的系统,他们的系统中BI 报表是主要业务场景,而客户的系统关注的是对商品,库存,订单等这些企业的业务主数据实时的访问,融合与发布。在没有成熟的产品下,他们决定不再回到基于队列+代码的方式,而采取和TapData 合作一个实时数据服务平台(Real Time DaaS)的项目。这个项目在前期建设以后,它的复用性就发挥了巨大的效益:2年内直接从DaaS 支撑了大大小小包括新型零售系统在内的10多个业务场景。

临时工:那这么说下来,您的创业还是挺顺利的,产品有客户,有客户的实际需求,创业的人都是不甘于平凡的人,都是对财务自由有严重向往的人,我这样说对吗?或者在直白一点,有金钱欲望的人都会创业?

唐老师:呵呵,这个问题,如果说不想赚钱那是自欺欺人,但是如果说只是为了赚钱,作为一个中年创业的人,可能会三思而行不一定迈出这一步,我的意思是,结合创业的成功概率,和我创业前的一个相对丰厚的外企待遇和蒸蒸日上的股票,创业对我来说也不见得是一个最好的选择, 创业的事情挺偶然的,当我看到了一个行业痛点,并且我相信自己有能力来解决这个问题的时候,我就想做这件事,特别是我的人生信条是 Live a Full Life:追求完整的人生经历,创业是我不曾有的经历。

临时工:这个我不是太理解,Live a Full life, 其实我还挺想考公考编的,当然岁数是不行了,我不太理解这样的想法,是否太冒险了。

唐老师:其实在我很小的时候就喜欢冒险,我是江阴人,从小被徐霞客的云游四方激励了。四年级我记得有一篇命题作文,长大了你想做什么。普遍的答案是医生科学家的时候,当时我说我的梦想是做一个走遍全世界的旅行者。后来我就长途骑着二八大杠,从江苏杠到北京,毕业后去北漂当了4年乐队键盘手,后来真的有了个机会2年时间背包环游世界七大洲70国。所谓的,梦想还是要有的,万一真的实现了呢。所以,我现在就是在为我的另一个人生梦想而努力。



临时工:唐老师还有这样的经历,您这前半生,让人羡慕,有冒险家精神的人都有好运,我记得有句词是这么说的。另外我还想问一个问题,您是怎么看的,一些IT类的厂商只说成功案例,不说失败的案例的问题?

唐老师:有冒险家精神的人都有好运,我想是的,一个产品在初期一定有一些可以让人深思和反省的项目案例,我不觉得这是不能说的,反而一个产品只有成功的案例,这是不现实的。比如最早期我们的一个客户要求我们的产品对于数据流转不能超过3秒的SLA,给了我们很大的压力,再比如一家保险公司在使用TapData作为核心的数据实时服务平台后, 尝试我们较为复杂的多流合并创建业务模型(也叫做流式物化视图)由于场景太复杂,超出当时的产品设计范围,最后没有在TapData落地这个高级场景,但我们的团队学到了很多金融类公司的需求,和工作的方式方法等等,这对我们是一笔宝贵的财富,也为我们后续为此类用户提供更贴近业务场景的服务,打好了基础。

     我们现在的产品经过客户的磨炼已经提高到从每秒1万左右的RPS (每秒处理的记录数 Record Per second),达到了目前的每秒6万左右,并且是在一个秒级的低延迟保证。这个性能指标已经能够满足金融级的性能要求。

       同时也感谢客户们给我们提供的真实场景检验和验证,我们现在的产品已经具有多流数据合并关联,且形成可复用的物化视图的能力,可以为企业提供Pull Push 双重模式的数据消费基础的能力,这是我们的产品和其他的数据管道或ETL工具最大的区别,我们是可以数据复用的,但其他的产品是不可以的,在这点上我们是领先的,感谢我们的客户给我们提供这么多的经验和历练,让我们的产品说明书上又多了一条,“一次投入,多次复用”。



临时工:之前也听说过一些产品,大多数是ETL的增强版工具,这个数据一次投入,多次复用的功能,我真的是第一次听说。看来的确是客户能磨炼产品,磨炼人,听您这段经历,您应该是比较顺利的创业者。

唐老师:也不是,大多数成功的产品需要磨炼,人也是一样,创业的团队更是一样,比如人员的来来往往,经济下行给企业带来的压力,从技术工作者到创业者,到企业管理者的人生角色的变换,人真正成长是在积累中逐步的进行的,但真正到达下一个阶段并不是一个过程,而是积累到一定的程度的某个时刻,我记得去年的时候,全家出游的时候,我还是每天在酒店里面考虑公司的发展和技术的迭代,同时团队的发展,业务的扩展,融资的进度等问题都需要我去逐一解决,压力说实话有点大,有点hold不住,当时我儿子问我,爸爸能不能不创业了,他想爸爸还和以前一样陪他冲浪,骑行,希望我能有更多的时间陪伴他,那一刻我问我自己到底要什么,我需要给我的孩子树立一个什么样的榜样,从那一刻我发现再大的压力我都能抗住了,挤出时间陪孩子,就在那一刻我也更深刻理解了,Live a Full life and keep going !

      所以那只是一小段时间,去年团队努力攻克产品技术难关和突破原有的性能极限,现在我们进入了顶级运营商和头部半导体行业的核心业务系统,越来越多的客户通过我们的成功案例希望和我们建立合作,海外最近有不断有新的成交企业客户,在风投资本比较谨慎的这段时间,客户使用TapData成功给我们特别多的信心和力量。

临时工:您刚才说到实时数据平台的部分,我还挺感兴趣,我比较好奇在什么企业,什么场景需要这样实时数据平台,企业在TapData落地后的效果,我想这个部分也是不少企业的IT 管理者感兴趣的。

唐老师:我想想,有一个案例是一家知名车企可以聊聊,他们提供从汽车的设计到生产制造再到4S店销售,最后到车辆维保一条流水线式的服务,前后有数百套业务系统在支撑整个生命周期。在此基础之上,有很多内部流程优化和新的业务场景,比如智能网联,数字投放,预批量管理,营销中心,ERP V6,实时BI等业务,这些系统都需要第一时间获取关键的生产过程的数据和产品销售数据,比如车辆档案数据,订单数据,客户信息,门店信息,库存数据等。

       这个企业本来已落地了某云的全家桶数据中台解决方案,可用户在执行的过程中发现他们这样数据中台最多只能提供小时级的数据,不能满足上述交互业务对数据的实时性要求。而TapData Live Data Platform,在经过企业POC后,可以满足他们实时数据需求,最终采用我们的方案满足客户的实时数据传输的工作,且这个项目在他们那里已经落地2年了,产品成功的为企业解决了实时数据问题,为他们企业数十个业务提供实时数据的数据实时服务。

临时工:那这家车企一开始就选择那个云平台的数据中台解决方案?

唐老师:那到没有。客户其实评估了多个方案,如Oracle Golden Gate, Kafka,Flink,以及那个云的数据中台解决方案,但最终采用了TapData一个很重要的原因是我们提供了一个比较完整的实时数据的采集,处理,合并建模和服务的全链路实时的能力。其他的方案多多少少需要技术人员来学习研究开源,或者要写不少集成代码,以及长期的维护。现在人员成本的增加,又有人才流失对业务的风险影响,这些都是客户实际考量的因素,而部分现成的平台对他们而言又不能满足需求,所以最终和我们合作。

临时工:唐老师我是不是可以理解在当前的经济形势下,商业的产品并不一定比开源的产品贵,开源的产品更多的存在自身的缺陷,软件BUG,没有好的服务等等问题,小公司使用还可以,大公司有数据湖,数据仓库系统的需求,稳定性是非常重要的,大型企业需要更稳定,更成熟,功能更多,且有一定技术含量的数据汇聚解决方案的产品。

唐老师:对现在越来越多的企业IT管理者明白了这个问题,Sorry 我这接个电话,不好意思下午还的去一个企业那里做调研,咱们下次有时间在聊。

到这里我们的访谈或者说聊天只能中断,这里建议唐老师应该学习一下孙悟空,拔下头发变出多个分身,来服务那些需要你的客户们。




置顶文章

听   唐建法  从ORACLE 到 MONGODB 数据迁移  数据库还可以这么玩 ?

临时工访谈:问金融软件开发总监  哪些业务不用传统数据库

临时工访谈:从国产数据库 到 普罗大众的产品 !与在美国创业软件公司老板对话



往期热门文章:
临时工说:DBA 7*24H 给2万的工作,到底去不去?
PostgreSQL  同样的语句 一会快 一会慢到底怎么回事,

SQL SERVER 2022 针对缓存扫描和Query Store 的进步,可以考虑进行版本升级

MongoDB 入门教学贴 从术语到操作 (用户权限 内部培训贴)

MongoDB 入门教学贴 从术语到操作 (基本操作 到 javascript 打印日常维护信息案例 内部培训贴)

MongoDB 入门教学贴 从术语到操作 (约束怎么建立  内部培训贴)

PostgreSQL 14 小版本分析,有那个版本不建议使用

PostgreSQL  15 16 小版本更新信息小结 版本更新是不是挤牙膏
PostgreSQL  哪些版本尽量避免使用,版本更新重点明晰(PG12)
PostgreSQL 版本升级到PG14后,pgbouncer 无法使用怎么回事?
PostgreSQL  分组查询可以不进行全表扫描吗?速度提高上千倍?
PostgreSQL  数据压缩 LZ4  OR PGLZ 为什么都说要用新的压缩方式
PolarDB  Serverless POC测试中有没有坑与发现的疑问

PostgreSQL  15 16 小版本更新信息小结 版本更新是不是挤牙膏MySQL 的SQL引擎很差吗?由一个同学提出问题引出的实验

临时工访谈:从国产数据库 到 普罗大众的产品 !与在美国创业软件公司老板对话

PostgreSQL 如何通过工具来分析PG 内存泄露

MySQL 的SQL引擎很差吗?由一个同学提出问题引出的实验
PolarDB for PostgreSQL  有意思吗?有意思呀
临时工说:OceanBase 到访,果然数据库的世界很卷,没边
MONGODB  ---- Austindatabases  历年文章合集
MYSQL  --Austindatabases 历年文章合集
MongoDB 2023纽约 MongoDB 大会 -- 我们怎么做的新一代引擎 SBE Mongodb 7.0双擎力量(译)
MongoDB 2023年度纽约 MongoDB 年度大会话题 -- MongoDB 数据模式与建模
MongoDB  双机热备那篇文章是  “毒”
MongoDB   会丢数据吗?在次补刀MongoDB  双机热备



Austindatabases 公众号,主要围绕数据库技术(PostgreSQL, MySQL, Mongodb, Redis, SqlServer,PolarDB, OceanBase 等)和职业发展,国外数据库大会音译,国外大型IT信息类网站文章翻译,等,希望能和您共同发展。


截止今天发布 1194篇文章


最后修改时间:2024-08-08 10:51:44
文章转载自Roger的数据库专栏,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论