让数据先“活”起来，如何实现数据在企业中的最大价值

开头还是介绍一下群，如果感兴趣PolarDB ,MongoDB ,MySQL ,PostgreSQL ,Redis, OceanBase, Sql Server等有问题，有需求都可以加群群内有各大数据库行业大咖，可以解决你的问题。加群请联系 liuaustin3 ，（共2790人左右 1 + 2 + 3 + 4 +5 + 6 + 7 + 8 +9）(1 2 3 4 5 6 7群均已爆满，，开8群近300+ 9群)

数据是一种宝贵的资源，知道数据十分宝贵的人很多，但如何运用数据让其发生效用的人并不多，今天借着机会，和唐建法老师请教关于数据如何发生效用的事情，让数据也能为企业带来效益，同时作为一个数据库架构师、DBA，我也想听到更新、更有价值的知识，数据到底是什么、Data as service 数据即服务、数据流转的最终目的是什么，我想寻求真实的答案。

专访唐建法-从MongoDB中国第一人到TapData掌门人的故事

我：唐老师好，上次关于您的那篇文章，在去年刊登的，作为我们行业偶像级的人物，让很多人都迷惑，如何能成为一个有价值的数据库行业从业者，在我们逐步认知到数据运维的价值在AI、自动化运维、以及各种工具平台的压缩下，价值逐渐走低的当下，我们该如何找到新的思想定位和工作方向。

唐老师：这个问题，我个人并不想给出特别明确的建议，每个人都是不同的，每个人都有自己的路要走，说一个自己的故事，在我刚开始在美国工作的时候，我是一个程序员，还是一个前端程序员，当时我并没有思考与数据库有关的事情，专心写代码完成工作，和数据库打交道是从我创业的时候开始的，当时我要负责更多的后端程序，由此和MySQL发生了一段不是很愉快的经历。

那时对索引的知识一无所知，但我必须解决大量的客户访问平台引起的数据库故障的问题，随之MySQL经常DOWN机的问题频繁发生，让我手足无措，从那时我才和数据库开始了更进一步的关系，当时访问的量比较大，后面我们接触到了MongoDB，虽然那时的MongoDB数据库本身是有一些缺陷的，比如当时的版本是没有的事务功能的。可我们需要马上解决关键的系统问题，用户访问量高、并发高的问题，我们用MongoDB替换了MySQL后，高并发访问量的问题解决了，这话说10多年前了，随着深入到MongoDB后，并喜欢上这个数据库最终成为这个产品的首席架构师，我解决过很多企业的数据问题，在不断的接触客户，解决问题，我发现新的让我感兴趣的事情，很多企业在发展的过程中，数据的价值被大大低估的问题，这也是我出来创业的原因，发现问题，解决问题，体现价值。

我：抱歉唐老师，我打断您，您并没有回答我刚才的问题，或者我没有get 到您的点！

唐老师：其实我想说的是，在你的本职行业中，持续深挖，不做表面的事情，用你自己的知识和阅历来解决他人的问题，这就是你的价值所在。

我: 您在之前一直提到一个名词 Data as service，DaaS。实话我作为一个DBA 或数据库架构，我对这个部分知识，并不是很理解和领会。Daas怎么产生商业价值，或者商业为什么需要DaaS，这个您能给讲一讲吗？

唐老师：是的，我可以举一个例子，DaaS(Data as a Service) ，比如一个零售体，现在经营都是以数据为导向的，比如我的财务，库存，销售，会员，线上系统，线下门店，这些都是数据的产生者，也都是数据的消费者。在顾客购买了一个产品后，库存需要减1，销售系统需要+1，财务系统需要产生收入，然后还要区分这个产品是线上平台，还是线下门店销售的，最终零售这个大系统要做出如下的一些决策

1 产品是否要补货

2 产品是否要调价

3 产品进货后，损耗后的总成本摊销

4 补货后财务系统的出账

5 会员系统是否要跟进这个顾客，诱导这个顾客继续复购，推算什么时间应该对他进行促销

6 仓库系统的进货和出货的流水账，以及库存的情况是否能及时更新

现在大型的零售机构以数据驱动服务，数据来自于企业的运营，数据服务于各个对应的部门并产生对应的决策性和指导性的作用。

我：那么问题在哪里呢？ DaaS 数据即服务，企业只要知道数据的作用和数据怎么使用就可以了，这是一件困难的事情吗？

唐老师：我们假设，这些部门的系统都是单独购买的，这样的事情我们遇到的太多，太多了。企业部门之间在IT信息本身并不沟通的案例很多，这里购买一个系统，那里购买一个系统。DaaS这个关于企业最重要的部分就变成一个，可以贴到公司墙上的标语，但无法落地。

我：您这边有具体的案例吗？

唐老师：我们有不少这样的案例，如一个百年药企的案例，传统企业逐步认识到了数据驱动业务的重要性，这家企业遇到的几个问题，数据库的类型不统一，网络的类型不统一，应用系统的不统一，POS系统的不统一，而他们要对接统一的医保系统，2000家门店，如何解决这些问题。

核心就是数据，数据被封堵，数据无法流转，数据的价值无法实现，每个企业并不关心他们用的数据库是Oracle、SQL SERVER、MySQL、 PG, 他们的核心诉求是这些数据库中的数据能否产生价值，能否抵御同行业的企业之间的竞争，存在数据库里面的数据是死的，流动起来的数据是活的，很多企业都开始认知到这件事。

所以我们解决这样的问题，拿出了成熟的产品和方案，让我们的客户解决他们的第一个问题，让数据“活”起来。

我：这就是您所一直提及的DaaS，数据即服务的第一步，是否可以理解为数据要产生价值，服务企业的第一步是数据能灵活的流转，您做的产品和服务就是要实现这个目的。我有一个尖锐的问题，这不是ETL&CDC软件吗？市面上有很多这样的软件。

唐老师：ETL或者cdc的软件市场的确有很多这样的软件，像一个数据的搬运工。但TapData不会，我们的产品本身站的角度就与那些软件不同，我们站的角度并不是一个工具类的软件，我们最终要做的是要体现数据的价值，帮助企业实现自己的真正需求。我不知道你看过没有看过我们的产品序列。

TapData 三部曲，TapData Cloud, Tapdata Community, Tapdata Enterprise。实际上我们将产品和客户进行了细分，TapCloud主打的是短平快的数据迁移市场，且我们比DTS 阿里云的那个云服务，在云上更有产品竞争力。Tap Community是让客户去试用我们的产品，让客户先体会DaaS的基础是什么，TapData和其他的ETL&cdc软件的不同在哪里，或许从一开始我们从做产品的角度看，这就有很大的不同。最后还有Enterprise的产品，我们会对企业级别的客户提供高标准的软件，服务，甚至是定制化的服务。我们可以参与到企业的实际需求中，帮助企业完成一些ETL&CDC软件无法满足的企业数据处理特殊需求。

我：您提到的前三个产品我明白，通过软件服务的不同等级来对应不同的客户。但是定制化，难道ETL&CDC还需要定制化，有这个必要吗？或者什么需求让您觉得有这样的一个必要定制化。

唐老师：我们正在做一个比较大的项目，一个海外的项目，某个大型的政府机构要提高政府服务的能力、减少政府财政负担的项目，这个项目就是一个TapData定制化的案例，其中有一些数据库产品的操作系统问题在大多数ETL&cdc软件并不支持，如DB2 这样的数据库产品，支持的系统本身就种类繁多，如AS400，LINUX，客户的系统不同，需要在不同的项目中给与支持，我们在不断的引入海外项目后，发现我们支持的数据库种类和对应数据库的操作系统越来越丰富，我们从之前服务国内，已经扩展到更丰富的领域和地域了。同时我们还可以把我们的DaaS 的理念带入到这个项目，我们有能力帮助客户，发现整体的项目哪里是数据使用的短板，让这个项目运作的更有效，更顺畅。那么我并不认为TapData是一家纯卖软件的公司，我们比那些纯卖软件的公司“实际”的多。很多情况下，在帮助超大型企业，走出DaaS的困局和误区。TapData可以做的事情比他们想的要多的多。

我：这和我之前听到的那些硬邦邦的ETL&cdc软件理论完全不一样，如果要形容，我觉得您在做一件看上去很柔软，但实际上很韧性的事情，或者说因为懂得太多了，所以可以承担的责任就更多，那么Tap Cloud呢，这是一个什么样的产品？

唐老师：我们在做Tap Cloud的时候，很直接，很简单，很单纯，我们要的就是服务线上用户，这些线上用户单纯的数据迁移和同步的需求，不过我们把简单的事情做的很灵活和安全。

我：在云端，我可以选择将处理的主机，放到本地，云端此时就是一个服务和操作端，数据并不经过云来传输，我实际操作过，但我没有弄懂需求，这是什么需求促成这样的产品。这是操作TapData Cloud让我迷惑的事情，明明是云，可为什么最核心的主机可以放到线下，当然它也可以在线上？

唐老师：说到这个，其实还是要感谢我们一些客户的数据安全的需求，这是一些对灵活部署非常看重的客户，与此同时对于数据安全审核的要求又比较高的中小型企业，所以TapData云上产品的核心可以云下部署的方案看似矛盾，但却是我们在深入理解客户的难处和实际需求下的产品，既可以上云，同时可以做到数据不经过云传输，TapData能满足这类客户的需求，他们的核心数据传输的主机完全可以部署在自己的机房，但控制和服务可以在云端，数据并不经过云，或者说完全和TapData云无关。所以我们非常感谢提出这些需求的企业，打造了一个他们非常安心，且专业的ETL&cdc的云服务软件。

我：看来坐在屋子里面做软件,不去真实拜访客户做出来的软件和懂客户的需求，更用心的去做产品是有很大的差别，这才有了TapData Could。我在使用的时候有一个想法，可能比较尖刻，我有一个看法，我不认为TapData Could 能成功，因为我一直在用DTS，阿里云的DTS 的产品，我不认为您的产品可以和DTS相比，且TapData Cloud也没有阿里云的DTS有名。

唐老师：这个是一个好问题，您也不是第一个问这个问题的人，我也有几个问题想问一下您。

1 公司要求数据传输服务必须本地部署，虽然是一次性的数据传输任务，但必须本地部署。

2 数据的传输量大，且传输时间长，DTS服务中的产品规格并不能满足客户的实际需求

3 数据库种类的丰富度，TapData是一个中立的ETL&cdc软件，相对阿里云的DTS，在支持国产数据库的种类和中立性方面，都更胜一筹。

4 还有一个关键的问题，我相信您作为阿里云忠实的客户，应该知道，DTS本身的一些问题，如不能及时处理一些单库表太多的情况，您是否遇到过呢？

我：您怎么知道的，DTS 的确是有这样的小问题，我们在使用中是遇到过的，大量的表在传输中有卡主的情况，处理速度还需要提高，我们有时会提高BINLOG 或 WAL LOG的留存时间，您怎么知道的这个细节的？？？

唐老师：我自己会经常和客户做一些直接的业务场景和产品使用的沟通，获得第一手的反馈。，这些信息非常有助于改进TapData，让TapData能走得更远更长久。我有我自己的想法，我想去实现我的价值帮助客户梳理真实需求，是我们前进的动力。同时我也有一个问题想问，您觉得一个好的ETL&cdc的软件的标准是什么？

我：坐在屋子里面，想客户的需求，做出来的东西和真切到客户身边，冲在第一线的产品，理解客户真实需求的产品是100%的不同。那我可以说，您是一个懂企业数据价值的人吗?

唐老师：这个可不敢，但我们是以客户真实的需求为源头，而不是坐在屋子里面，自己臆想客户的需求，并给出解决方案的，您知道我一年要跑多少客户吗？我的火车票和机票钱并不是一个小数字，可我愿意和我的客户沟通，和他们以最近的距离，去感受他们的难，TapData并不光在做一个产品，我们和客户是一体的，客户的问题就是我们存在的意义，这是我心里一直提醒我自己且让我持续能有动力，做好我们产品的根本。