Byzer 技术内幕: SQL层面的扩展是如何实现的

架构图释义：

• Byzer-lang 通过控制台（ Byzer Notebook 或 Byzer Desktop）来完成任务开发、数据湖管理、系统配置、运行记录等操作。任务开发支持任务执行（query）、语法解析（analyze）、语法提示（suggestion）；

• Byzer-lang 支持多种 API 交互方式，可以和上层 Byzer Notebook 通信，包括的方式有：JDBC、HTTP、LSP 协议（language server protocol）、CLI；

• Byzer-lang 核心的包含了 Byzer-lexer, Byzer-parser, Byzer-codegen 三个部分。其中 Byzer-lexer/Byzer-parser 使用的解析器生成器为 Antlr4，完全兼容 Spark SQL语法；另外!if
  分支语法使用的自研的 Byzer expression，这样可以不局限于 antlr4 框架的 DSL 限制，实现比如谓词下推的一些语法层面优化；codegen 是指 Byzer-lang 中的 adaptor 系列，比如：TrainAdaptor、SelectAdaptor 等，Adaptor 的具体功能，会在原理解析中介绍。

• 开发者们提交过来执行的类 SQL 代码，最终会执行在 Byzer 的运行时引擎上面，根据代码的调用方式，分别提交到 Spark 和 Ray 引擎上面执行，除了这两个，Byzer 还支持 Java 或者 Scala 代码的本地执行。

run command as SendMessage.``
where method="mail"
and content="${EMAIL_BODY}"
and from = "userAccountNumber@qq.com"
and to = "${EMAIL_TO}"
and subject = "${EMAIL_TITLE}"
and contentType="text/html"
and attachmentContentType="text/csv"
and attachmentPaths="${savePath}"
and smtpHost = "smtp.qq.com"
and smtpPort="587"
and `userName`="userAccountNumber@qq.com"
and password="***"
;
复制

用户在 Byzer Notebook 中编写完一个代码后，点击执行（run）会提交到运行态引擎Byzer-lang 的 RestController，根据代码处理类型等配置交给 JobManager 进行同步或异步管理任务。代码会传递给 ScriptSQLExec 执行器，在执行器中会调用 DSLSQLLexer 和 DSLSQLParser 做语法解析。

由于我们使用的是观察者模式（Antlr4 支持观察者模式被动触发语法解析，还支持访问者模式由开发者主动触发语法解析），需要传递我们生成好的 ScriptSQLExecListener到 Antlr4 解析器中。

语法解析后会触发 Listener 的回调函数 exitSql。在 exitSql 我们根据 AST 中 Token 的关键词确定当前执行的语法，run 语法会使用 TrainAdapto r执行对应 ET SendMessage的 train 方法，这样就访问到了我们在 ET 中定义的 train 逻辑进行邮件发送了。由于Byzer 中的 ET，实际上就是定义了对表操作的扩展接口（SQLAlg），通过实现接口，我们可以在代码中定义具体的 ET 处理逻辑，实现表进表出的概念 —— 输入一张表，通过 ET 加工后输出一张表。在邮件工具中，我们的输出就是邮件内容和邮件的附件。