【360开源】XSQL——低门槛、易部署、更稳定的多数据源分布式查询引擎

近年，大数据领域涌现出了多种多样的数据存储、数据计算的框架或工具，但是却没有统一的标准，外加大数据技术之间的层层壁垒，导致了门槛高和不够稳定两个问题。

第一个问题实际上包括了学习曲线陡峭、可维护性低、部署不可控等。

各种数据源从存储格式到执行引擎，都有非常大的差别。由于SQL是目前被广泛接受的行业标准，且门槛很低，所以部分数据源或者计算引擎提供了对SQL的支持。尽管如此，各种数据源对SQL的支持度也很不统一，有些数据源还引入了SQL之外的语法，他们可以被归类为SQL-like；还有一些数据源没有提供SQL的支持，尤其是一些NoSQL数据库。用户如果想要使用多种数据源，就不得不学习每种数据源自身的API或者非标准SQL。

一些数据源（例如：Druid）所提供的API有很多的可读性问题，降低了系统的可维护性。

一些数据源或者计算引擎在部署的时候，需要安装各种环境、配置大量的配置。导致一些系统在部署之后，除了用户代码需要调整外，还很难升级或保持向前兼容。

这些现状，对于用户来说，无论从学习成本上，还是开发周期上，乃至于线上产品的升级、更新都带来了不小的挑战。

另一个问题实际指的是分布式任务执行的稳定性较差。大数据技术由于分布式、主备切换、负载均衡等设计导致的异构、异地、分布式、跨机房的部署方式，最终会引起内存资源限制、I/O限制、带宽打满、跨机房传输、CPU跑满、资源隔离等问题；分布式任务处理的数据来自各个不同的业务，每种业务所产生的数据在数据体量、数据产生速度、数据特征等方面都有巨大的差别，因此分布式任务往往会出现数据倾斜、内存溢出、Full GC、空值等一系列问题。

为了解决这些痛点，360统一计算团队开发了一个低门槛、易部署、更稳定的多数据源分布式查询引擎——XSQL。XSQL将致力于降低数据使用的门槛；另一方面， XSQL将致力于提供更加稳定的分布式查询服务。

XSQL的主要特点包括：低门槛、更稳定、增效节能及数据联邦。

XSQL的低门槛围绕着SQL来进行，具体内容如下图所示：

分布式任务的稳定性主要有两个原因：环境问题和数据问题。环境问题对于计算来说是不可控的，这很大程度上取决于你的集群配置、集群繁忙度、网络状况等因素。但是XSQL可以提供一系列插件来监控或者分析这些外界因素。当然，XSQL更大的优势在于解决数据问题。比如：自适应broadcast、 分区合并、下推优化、 CBO等。未来还将提供内存建议服务。

任务的稳定性可以避免任务的重复计算，进而节省资源。

此外，XSQL将对一些功能持续进行优化，进而提升开发和数据处理效率。XSQL也会紧跟Spark社区，借鉴社区里的优秀设计和思想。随着执行效率的提升，大量的计算和存储资源将被释放出来，供给更多的任务使用。

XSQL还将在多计算引擎的方向进行探索，针对不同的场景，找出最优的引擎。

XSQL支持对多种异构数据源的关联查询。目前已经支持9种数据源，包括：Hive、Mysql、EleasticSearch、Mongo、Kafka、Hbase、Redis、Druid等。本文将在XSQL特性介绍——数据源联邦一节，给出一个简单的例子。

XSQL对不同数据源之间的关联查询提供了支持。这里以EleasticSearch和MongoDB之间的关联来举个例子，如下图所示：

从上图可以看出，EleasticSearch和MongoDB都是三层的表示。初次了解XSQL的用户可能会产生困惑，这跟XSQL的三层元数据设计有关。其中：mymongo和myes是数据源别名，一般由用户指定；xsql_mongodb是mymongo中的一个数据库实例的名称，xsql_index是myes中的一个index的名称；student是xsql_mongodb中一个collection的名称，class_room是xsql_index中一个type的名称。

Spark目前的版本都存在一个问题，那就是无论执行DDL、DML还是Query，都需要立马向集群注册应用，并申请资源。对于DDL和DML，这是完全没有必要的。此外，由于XSQL提供了下推执行，所以当Query可以下推到数据源时，也是没有必要申请集群资源的。XSQL延迟向集群注册应用，延迟向集群申请资源的机制，在很多场景能够大大减少资源的浪费，并且提高任务执行效率几十倍以上。

XSQL在开发之初，就参考了业内其他具有类似功能的框架或系统，发现大多数的实现都需要两次甚至多次的SQL解析。这是因为这些平台往往构建在具体引擎和数据源的上层，最初的SQL解析不能真正运用于计算，而是为了定位、路由。XSQL团队在深入理解了Spark SQL原理的基础上，开发了XSQL内核，能够做到对Spark SQL的完整替换、版本兼容，而且与Spark的其他模块之前没有任何依赖或者耦合，易于随着Spark版本的升级而升级。下图简要说明了XSQL一次SQL解析的原理。

一些计算引擎在执行Query时，往往考虑了更加通用的方式，但是没有针对具体的业务场景、数据源差异，这时的执行效率往往差强人意。一个很明显的例子就是，如果对MySQL一张行数在千万以内的表进行查询，特别是利用了其索引的情况下，执行效率比多数计算引擎都要快几百甚至上万倍。XSQL为了充分利用各种计算引擎以及数据源各自的优势，发明了下推执行。Pushdown的执行计划甚至可以参与到更加复杂的Spark执行计划中，如下图所示：

上图左边是简单的Pushdown优化，右边是较为复杂的Pushdown优化。

XSQL团队在设计阶段，对业内诸多类似平台进行了调研，发现凡是数据源自身进行元数据管理的，元数据管理也是最大的痛点。当一个平台站在上帝视角，管理众生时，他不得不为了满足众生的需求，东奔西跑。放弃元数据的中心化可以避免数据同步、数据不一致，数据延迟等不利因素。XSQL也因此在部署上更加轻量、简便。XSQL通过缓存与实时获取元数据相结合的方式，避免了元数据管理的臃肿。此外，这种设计也将在部署和运维中带来收益——部署变得更加简单，并且不需要强制依赖任何的外部存储。下图简要展示了XSQL的元数据去中心设计。

XSQL对元数据的缓存有两种级别，既能减少对底层数据源的压力，也提升了XSQL的执行效率。很多场景下（例如：对Hive的使用），元数据的更新变化很少。此时可以通过对元数据的缓存，减少对底层数据源的请求数，对底层数据源更加友好，也保证了XSQL在解析、执行时的效率提升。XSQL提供的两级缓存如下图所示。

XSQL可以按照用户需要，设置元数据白名单来避免缓存多余的元信息，进一步提升执行效率。针对很多业务场景，用户往往只需要少数几个数据库、几张表，因此没必要拉取太多的元信息，缓存到内存。对于长期运行的这类任务，将大大减少对底层数据源的压力，提升效率。元数据白名单如下图所示。

XSQL团队目前正在多引擎方向进行探索。目前在试验版本中已经提供了针对Flink1.9.0版本和Prestosql 317的支持。但是由于Flink1.9.0在SQL覆盖度、稳定性等方面还有待提升，Prestosql在360内部还未真正大规模使用，因此开源版本暂时不包含此特性。

无论是Spark还是Flink，批处理API和流的API有很多差异。XSQL致力于将批处理和流处理通过SQL统一起来，结合多数据源的管理，一条SQL就可以帮助你进行批处理或流处理。用户甚至感觉不到两者的差异。XSQL目前流式处理只支持Kafka一种数据源，未来可能会支持360内部的Qbus或者其他流框架。

除了这些特性外，XSQL还有其他一些特性，限于篇幅，本文不再赘述。

本文从部署、实现以及未来三个角度来展示XSQL的技术架构。

XSQL在部署上借鉴了Hadoop生态的标准方式，并且复用了Spark部署到Yarn的功能。XSQL由于支持多数据源的需要，借鉴了业内竞品的实现，采用了元数据去中心的设计。

XSQL在实现上借鉴了Spark的SQL框架，对其进行扩展，并最终替换其SQL框架。XSQL提供了多种语言及协议的API。

XSQL未来将支持对接不同计算引擎，例如：Flink和Presto。

以上对XSQL的架构、特性等进行了介绍，本节将介绍一些XSQL适用的场景：

• jdk 1.8+

1、源码下载

git clone https://github.com/Qihoo360/XSQL

2、执行编译命令

如果你已经有现成的Spark，可以将XSQL编译为Spark插件：

XSQL/build-plugin.sh

编译成功后源码根目录将出现xsql-0.6.0-plugin-spark-2.4.3.tgz

如果你没有现成的Spark，那么你可以编译完整版的XSQL（内置Spark）：

XSQL/build.sh
编译成功后源码根目录将出现xsql-0.6.0-bin-spark-2.4.3.tgz

• jdk 1.8+

• hadoop 2.7.2+

• spark 2.4.x

1、解压到客户端

完整版解压：

tar xvf xsql-0.6.0-bin-spark-2.4.3.tgz -C "软件目录"

插件版解压：

tar xvf xsql-0.6.0-plugin-spark-2.4.3.tgz -C "已存在的SPARK_HOME"

2、配置数据源

这里给出一个简单的例子：

spark.xsql.datasources                     default
spark.xsql.default.database                real_database
spark.xsql.datasource.default.type         mysql
spark.xsql.datasource.default.url          jdbc:mysql://127.0.0.1:2336
spark.xsql.datasource.default.user         real_username
spark.xsql.datasource.default.password     real_password
spark.xsql.datasource.default.version      5.6.19

1、从命令行工具开始

$SPARK_HOME/bin/spark-xsql
spark-xsql> show datasources;

2、从Scala API开始

var spark = SparkSession
  .builder()
  .enableXSQLSupport()
  .getOrCreate()
spark.sql("show datasources")

具体使用操作请参考XSQL帮助文档：https://qihoo360.github.io/XSQL/

XSQL将致力于为整个开源社区提供更好的中间件服务，欢迎广大用户和开发者加入我们。

https://github.com/Qihoo360/XSQL

可点击阅读原文查看，欢迎加star~~

• XSQL开发者组（xsql_dev@groups.163.com）

• XSQL用户组（xsql_user@groups.163.com）

XSQL用户群：838910008

更多开源资讯，请关注“360技术”~