目录

• 产品简介
• 产品优势
• 所属公司
• 相关资料

产品简介

Spark SQL作为Apache Spark中的一个模块，将关系处理与Spark API集成在一起。它是专为涉及大规模数据集的只读联机分析处理(OLAP)而设计的。它使用DataFrame API来统一Spark中过程代码(如Scala、Java)和关系代码(如SQL)的接口。它还设计了一个名为Catalyst的可扩展优化器，使添加优化规则更容易。Spark SQL结合了Spark(圆角数据分析编程接口和工具)和SQL(声明式接口和优化可能性)的优势。

产品优势

Spark SQL是基于Shark构建的。Shark最初是加州大学伯克利分校(University of California, Berkeley) AMPLab在2011年开发的一个学术项目。为了支持Spark上的查询，Shark是建立在Hive代码基础上的，而Spark SQL尝试将其与Hive解耦。2014年5月，Spark SQL首次集成到Spark 1.0中，同年7月，Shark的开发工作结束。Spark SQL作为Spark的一部分是开源的，由Apache软件基金会维护。加州大学伯克利分校(UC Berkeley)的AMPLab和Databricks对此做出了很大的贡献。

所属公司

Apache软件基金会

相关资料

官网：http://spark.apache.org/sql/