暂无图片
暂无图片
1
暂无图片
暂无图片
暂无图片
文档 / Elasticsearch 信创国产化替代方案.pdf
Elasticsearch 信创国产化替代方案.pdf
sg1234
318
4页
0次
2024-08-16
10墨值下载
前言
近期，开源软件Elasticsearch被曝泄露了上亿条数据。而这不是Elasticsearch被曝安全问题的个例了，
在过去几年内，Elasticsearch 数据泄露事件频发，甚至一个月被曝6次数据泄露。
Elasticsearch 是一个分布式、高扩展、高实时的搜索与数据分析引擎。它能很方便的使大量数据具有搜
索、分析和探索的能力。充分利用Elasticsearch的水平伸缩性，能使数据在生产环境变得更有价值。
Elasticsearch 的实现原理主要分为以下几个步骤，首先用户将数据提交到Elasticsearch 数据库中，再通
过分词控制器去将对应的语句分词，将其权重和分词结果一并存入数据，当用户搜索数据时候，再根据
权重将结果排名，打分，再将返回结果呈现给用户。
Elasticsearch是与名为Logstash的数据收集和日志解析引擎以及名为Kibana的分析和可视化平台一起开
发的。这三个产品被设计成一个集成解决方案，称为“Elastic Stack”（以前称为“ELK stack”）。
Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索，具有接近实时的搜索，并支持多租户。
Elasticsearch是分布式的，这意味着索引可以被分成分片，每个分片可以有0个或多个副本。每个节点托
管一个或多个分片，并充当协调器将操作委托给正确的分片。再平衡和路由是自动完成的。相关数据通
常存储在同一个索引中，该索引由一个或多个主分片和零个或多个复制分片组成。一旦创建了索引，就
不能更改主分片的数量。
Elasticsearch使用Lucene，并试图通过JSON和Java API提供其所有特性。它支持facetting和
percolating，如果新文档与注册查询匹配，这对于通知非常有用。另一个特性称为“网关”，处理索引的
长期持久性；例如，在服务器崩溃的情况下，可以从网关恢复索引。Elasticsearch支持实时GET请求，
适合作为NoSQL数据存储，但缺少分布式事务。
Elasticsearch安全能力不足，开源协议变更
加剧安全风险
数据保护能力不足：Elasticsearch 开源版本是不具备数据保护功能的，看似免费，但不安全。用户
必须付费获得Gold+许可才能获得相关的安全保护功能，且不同的安全功能对应不同的收费标准。
数据有丢失风险：为了满足数据入库性能要求，Elasticsearch在数据层采用了简单的主从最终一致
性模型。当主副本出现故障时，从副本和主副本不能保证数据的强一致性，从副本的数据有可能不
是最新的。以此为基础恢复数据，很有可能导致部分数据丢失。
开源协议变更带来商业风险：2021年初， Elastic 公司决定将这两款开源软件的 Apache License
2.0 变更为双授权许可，即Server Side Public License (SSPL) 和 Elastic License。其核心条款是“如
果将程序的功能或修改后的版本作为服务提供给第三方，那么必须免费公开提供服务源代码”。这
意味着不法分子可以获得其源代码并研究其漏洞，给企业用户带来巨大的安全风险。
星环科技自主研发的国产搜索引擎
Transwarp Scope
国产自研搜索引擎，自主可控
Transwarp Scope是星环科技自主研发的企业级分布式搜索引擎，提供PB级海量数据的交互式多维检索
分析服务，支持百万级高并发和毫秒级低延时检索业务，覆盖模糊匹配，精确查询，多维检索等各类检
索类场景，满足数据检索多样化需求。
内置配套的安全授权、访问控制机制等，不收取额外的安全功能费用，在降低用户总拥有成本的同时，
充分保证系统数据安全。
Scope兼容常用的Elasticsearch读写接口，可实现Elasticsearch的平滑迁移。并且比Elasticsearch具有
更强的查询性能、扩展性、数据一致性和可靠性，以及更低的硬件和运维成本等优势。
此外，Scope已完成与主流信创生态厂商的适配互认工作，支持适配长城飞腾、华为泰山、龙芯等服务
器架构，同时满足麒麟，UOS等操作系统，入选国家软硬件技术图谱，满足信创要求和国产化替换需
求。
全方位数据安全保障
Transwarp Scope内置配套的安全授权、用户权限控制等相关安全功能，可以有效保障系统数据和访问
上的安全。
在用户权限认证上，基于SASL提供plain与gssapi两种认证方式，对应传统的用户名密码认证方式和基于
Kerberos的登录验证方式。其中kerberos可依赖于TDH平台的安全服务Guardian，同时提供用户组概
念，便于通过平台实现统一管理与操作。
在数据权限上，基于角色的访问控制 (RBAC) 机制，使用户能够通过将权限分配给角色并将角色分配给
用户或组来授权用户，支持Index level Security &Database level Security。
在数据加密上，Scope支持基于SSL/TLS两类协议进行数据加密，确保数据传输过程的安全。
硬件和运维成本
Elasticsearch单节点支持的数据量最多到20TB左右，在项目实践中客户通常在每台服务器上部署多个
Elasticsearch实例，而如此多的实例将会带来不稳定问题，触发节点失联，运维成本高。反之，如果每
台服务器配置较少容量的磁盘，那么用户将付出非常高的硬件成本。而当节点数超过100时，同样会有
稳定性问题。
这两类方案，运维成本和硬件成本变成了鱼和熊掌不可兼得，让用户陷入两难的境地。
星环科技Transwarp Scope对内存进行创新优化，提高单集群单节点容量上限，单实例可突破至百TB的
数据存储，是Elasticsearch的5倍以上，大大降低用户硬件成本。
在提高单实例存储容量，降低集群规模的同时，Scope通过多进程架构，充分利用集群cpu/内存资源，
读写压力分流，满足更高的并发需求，提高集群稳定性的同时降低运维成本。
集群扩展性
Elasticsearch在集群扩展上存在瓶颈，其采用的P2P架构和排队模型处理一些状态同步和元数据改变等
操作时，效率比较低。在项目实践中，当节点（或实例）规模超过100个时，会遇到稳定性问题，特别
是多种任务并发的情景下，集群压力大，容易触发节点接连失联的问题。
星环科技Transwarp Scope采用多进程架构，充分利用集群cpu/内存资源，读写压力分流，满足更高的
并发需求以及提升稳定性，单集群在200以上节点规模下稳定运行，同时保障性能无衰减。
数据读写性能
Elasticsearch在数据读写性能方面存在不足，如压缩率不足，数据膨胀率高，读写策略优化不足等都大
大降低了数据读写的效率。数据读写性能受限，直接影响查询操作的并发度和数据入仓的效率。
星环科技Transwarp Scope对读写线程资源的管理更严格、更精细，使读写性能更优，数据批量写入速
度相对Elasticsearch提升40%，读写分离的特性大幅提升查询的稳定性。
数据恢复性能
Elasticsearch缺乏“增量数据”的概念，当单点发生故障进行数据恢复时，采用全量数据拷贝方式恢复数
据，工作量大，往往需要小时级的时间才能恢复服务，严重影响服务的正常进行。
星环科技Transwarp Scope具有很强的容灾和数据恢复能力。Scope基于Raft协议保证数据的一致性，
同时提供多副本支持，重启恢复时间在TB级数据量下控制在分钟级，不到Elasticsearch的1/10，大幅降
低了服务不可用时间。
此外，Scope支持跨数据中心的多活部署，使得重要业务在多数据中心交互和流转，还支持主备集群的
实时数据同步，满足主备集群的failover和switchover。
数据一致性
Elasticsearch主本和副本之间同步采用P2P架构和排队模型实现主从最终一致性。当主副本出现故障
时，从副本和主副本不能保证数据的强一致性，很有可能导致部分数据丢失。
Transwarp Scope基于自主研发的分布式数据库管理系统TDDMS，采用shared-nothing架构，通过多
副本机制实现数据服务高可用，使用raft协议保证副本之间的数据一致性，保障数据不丢失。此外，
TDDMS支持弹性扩缩容、自动故障恢复、权限控制、多租户与冷热数据分层存储等功能。
售后服务
Elasticsearch是开源产品，用户需自己探索和解决问题，无法获取有效的服务保障。用户需要购买企业
版才能获得相应的服务，且在国内没有原厂技术研发人员，很难保障SLA。
Transwarp Scope的产品提供方星环科技是国内厂商，具有非常强大的研发、技术支持与服务能力，提
供强大的原厂服务保障能力，保障用户售后无忧。
星环科技Transwarp Scope可平滑替代
Elasticsearch
平滑替代Elasticsearch
Transwarp Scope兼容常用Elasticsearch的接口，可实现Elasticsearch业务的平滑迁移。星环科技提供
多种数据迁移方案，用户可根据实际情况灵活选择。
经过大量项目的实践和经验，星环科技建立了成熟标准的Elasticsearch平滑迁移方法论，通过调研评
估、方案测试和上线保障“三步”策略，全程保障数据与业务的平滑迁移。
多生态兼容
除了兼容以上Elasticsearch接口，Scope还兼容PostgreSQL协议以及Spark等大数据产品的接入。同
时，Scope还提供完备的SQL语法支持，满足传统数据库迁移到Scope的需求，通过星环科技SQL编译器
QUARK实现大数据基础平台TDH内部的完整数据流转方案。
迁移后的效果
性能全面提升：相较于Elasticsearch，用户迁移到星环科技Transwarp Scope之后，可以实现海量
存储能力，极大降低用户硬件和运维成本，数据读写性能、日志分析性能和数据检索性能大幅提
升，可确保百节点以上规模集群稳定运行，强一致性写入能力确保读写数据不丢。高可用性可以确
保故障分钟级重启恢复。而在安全方面，内置的安全授权、访问控制机制充分保证系统数据安全。
of 4
10墨值下载
es信创国产化替代方案
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。

评论