Hadoop不是都亡了么，怎么还有银行定向采购Cloudera！

2024年8月2日

招标人：南京银行股份有限公司

2024年度大数据数据库（Cloudera）产品许可及人力维保项目招标公告

该项目初次招标公告发布于7月24号；

8月2日，发布流标公告。根据招标平台提供的信息，公告内容仅“本项目重新招标”7个字。

8月2号，再次发布招标公告。并在公告中增加了描述“本项目为重新招标项目，若递交投标文件截止时间前，投标人不足3个，则现场变更采购方式:若投标人为2个，则变更为竞争性磋商;若投标人为1个，则变更为单一来源采购。”

Hadoop 真的有必要么？

在大数据处理领域，Apache Hadoop曾是一颗璀璨的明星，它不仅改变了企业存储和处理大规模数据的方式，更是一度成为大数据的代名词，并且催生了一大批围绕其生态发展的初创公司。

然而，随着时间的推移，大量新兴的分布式数据库厂商无论是从产品性能、功能、技术架构的复杂性、开发运维成本上，都提出了比Hadoop更优的解决方案。于是Hadoop市场开始走向没落，甚至被部分人当成是“落后”的技术。

在hadoop生态发展过程中，有3家公司发挥了举足轻重的作用，Cloudera、Hortonworks和MapR。

2019年，Cloudera和Hortonworks这两家Hadoop市场的领头羊完成合并。这一合并背后的原因并非仅仅是为了扩大规模，而是反映了Hadoop市场增长放缓以及竞争加剧的现实 。两家公司在合并前虽然都是Hadoop领域的佼佼者，但面临的挑战日益严峻，不得不进行合并求生。

老大和老二的合并，让老三的生活更是雪上加霜，直接导致MapR濒临破产。这家成立于2009年的公司，凭借其高性能的企业级Hadoop发行版一度在市场上占据一席之地。然而，到了2019年，由于财务上的困难，MapR不得不宣布破产。其技术和客户最终被HPE（慧与）收购。

Cloudera和Hortonworks合并，以及MapR的失败不仅标志着一个时代的终结，也反映了Hadoop市场面临的深层次问题。为什么偌大的全球大数据市场，养不活3家Hadoop公司？

或许有着几方面原因：

• 云厂商竞争：随着云计算和大数据处理技术的进步，越来越多的企业开始转向云服务，这导致了本地部署的Hadoop需求在减少。

• 数据库厂商竞争：Hadoop生态提供一个大而全的技术体系，但是过于脓肿的架构难以快速应对市场需求而整体进步，总有局部在拖后腿。而用户利用hadoop的早期理由是其扩展性，到目前使用最多的能力也大多是传统的数据存储、分析，外带少量的流数据处理能力，而这些能力新一代MPP数据库也都凭借更简单的技术架构快步追赶、甚至超越。留给Hadoop的场景越来越少了。

• 商业模式的局限性：Hadoop的基础技术是开源的，这使得企业在构建商业模式时面临挑战。如何平衡开源社区贡献和技术商业化之间的关系，以及如何应对各种套壳的牛头马面反向竞争，成为了许多公司面临的难题。
  

最后：

面对如今的hadoop、分布式数据库技术情况，银行机构真的还有必要定向采购Cloudera么，即便是依然选择Hadoop，难道国内的hadoop到今天了还顶不上去！华为的fusioninsight，星环的TDH都干什么去了呢...

点赞、在看、转发，也非常感谢~