人工智能赋能的查询处理与优化新技术研究综述.pdf

chirpyli

132

23页

0次

2024-03-26

10墨值下载

计算机科学与探索

www.ceaj.org

* The National Key Research and Development Program of China under Grant No. 2018YFB1003400 ( ); the National

Natural Science Foundation of China under Grant No. U1811261 ( ).

Received 2019-11-29, Accepted 2020-03-16.

CNKI : 2020-04-22, https://kns.cnki.net/KCMS/detail/11.5602.T P. 20200421.1600.004.html

Journal of Frontiers of Computer Science and Technology

宋雨萌，谷峪，李芳芳，于戈

东北大学计算机科学与工程学院，沈阳 110169

+ 通信作者 E-mail: yuge@mail.neu.edu.cn

数据查询处理与优化作为数据管理中最具挑战性的问题之一，一直受到广泛关注。传统的查询处理

与优化技术在实际使用中需要针对特定的工作负载和数据集进行大量的手动调优，因而已经无法满足现代数

据库系统的发展需求。受人工智能（AI）成功应用于多领域研究的启发，近期人工智能赋能的查询处理与优化

新技术相继被提出并取得了一定的研究成果。针对这些研究工作，首先给出了人工智能赋能的查询处理与优

化技术的主要任务，分析了与传统人工智能任务的区别。其次梳理了该领域的主要研究进展，并总结了主要

优势与应用瓶颈。接着讨论了当前所面临的主要技术挑战。最后对该领域的未来发展进行了展望。

查询优化；人工智能；机器学习；深度学习；数据库系统

A TP315

宋雨萌, 谷峪, 李芳芳，等. 人工智能赋能的查询处理与优化新技术研究综述[J]. 计算机科学与探索, 2020, 14(7):

1081-1103.

SONG Y M, GU Y, LI F F, et al. Survey on AI powered new techniques for query processing and optimization[J].

Journal of Frontiers of Computer Science and Technology, 2020, 14(7): 1081-1103.

Survey on AI Powered New Techniques for Query Processing and Optimization

􀆽

SONG Yumeng, GU Yu, LI Fangfang, YU Ge

School of Computer Science and Engineering, Northeastern University, Shenyang 110169, China

Abstract: As one of the most challenging problems in data management, query processing and optimization are always

widely concerned by researchers. However, it is very difficult for traditional techniques to meet the diverse require-

ments of modern database system due to the needs of hand-tuning for specific workloads and datasets. Inspired by

advances in applying artificial intelligence (AI) to multi-field researches, recently, the AI powered new techniques for

query processing and optimization have been proposed and made significant success. In view of these researches, this

paper first presents the main tasks of the AI powered new techniques of query processing and optimization, and analyzes

the differences between the new tasks and traditional AI tasks. Second, the recent research progress is reviewed, and

the main advantages and application bottlenecks are summarized. Third, this paper discusses the main challenges of the

AI powered new techniques of query processing and optimization. Finally, the future research directions are prospected.

Key words: query optimization; artificial intelligence; machine learning; deep learning; database systems

1673-9418/2020/14(7)-1081-23

doi: 10.3778/j.issn.1673-9418.1911063

计算机科学与探索

www.ceaj.org

Journal of Frontiers of Computer Science and Technology 2020, 14(7)

数据查询一直是计算机领域的一个重要问题。

自 20 世纪 70 年代起，数据库研究人员对数据库系统

优化与数据驱动应用的研究使数据查询处理与优化

技术得到了极大的发展。如今，高效的数据管理系

统已逐渐成为信息化社会基础设施建设的重要支撑

[1]

。

近年来，人工智能领域的技术被广泛应用于数

据驱动的问题中，取得了良好的效果。受到这些研

究成果启发，数据库研究人员将数据查询处理与优

化技术与人工智能中机器学习、深度学习技术相融

合，力求达到更优的性能。因而，人工智能赋能的查

询处理与优化技术正在成为计算机领域的一个重要

的热点问题。通过分析查询各阶段中的数据库状

态，学习对数据动态、智能的查询处理与优化能力，

已经成为产业竞争力的体现。

相比通用的数据查询处理与优化技术，人工智

能赋能的查询处理与优化技术在执行效率与性能方

面具有明显优势。在执行效率方面，随着硬件的计

算能力的巨大提升，越来越多的设备配置了专门用

于机器学习的硬件，例如，iphone 的“Neural Engine”，

谷歌手机的“Visual Core”，谷歌云的云端 TPU 以及微

软开发的 BrainWave 等

[2]

。强大的计算能力大大降低

了模型训练与运行时间。从当前的发展趋势可以预

见，机器学习、深度学习等技术的开销在未来可能忽

略不计。因此，人工智能赋能的查询处理与优化新

技术将提高数据查询的执行效率，降低时间开销。

在性能方面，机器学习方法将自动选择使数据库表

现达到最优的查询计划、配置参数或数据索引等，与

数据库管理员（database administrator，DBA）的手动

调优相比，人工智能方法能够解决有经验的 DBA 无

法解决的问题，同时避免了大量的手动操作。与复

杂的启发式算法相比，人工智能方法将考虑更多的

上下文因素，获取更优的优化结果。

如今，大数据管理技术与系统已能够满足各类

海量同/异构数据的基本查询需求，但如何利用新一

代人工智能技术提高数据查询处理与优化的性能仍

然面临着诸多挑战。在近期的相关综述工作中，文

献[3]对深度学习与数据库领域的交叉问题进行了总

结，分析了部分深度学习模型应用于查询接口、查询

计划、众包与知识库、时空数据等数据库应用的可能

性。文献[4]总结了人工智能技术在数据库系统的实

现方式和存在问题，选取有代表性的研究成果介绍

了人工智能在数据库多个方面的研究进展并提出未

来研究方向。文献[5]概述了机器学习技术与数据库

关键组件中具体问题的结合方式与存在的问题，并

分析了现有的问题解决方式，对进一步融合机器学

习与数据库关键技术给出展望。文献[6]从存储管

理、查询优化、自动化数据库管理系统三方面对数据

库系统的机器学习化研究进行归纳，分析已有技术

并指出了未来研究方向及可能面临的问题与挑战。

与上述工作相比，本文将侧重于数据管理中的

查询处理与优化问题。图 1 展示了本文总体内容路

线图，以常见数据库管理系统的层次架构为划分依

据，有针对性地对人工智能赋能的查询处理与优化

技术中数据存取（智能索引）、查询优化（包括代价估

计、技术估计、索引选择、连接顺序优化、近似查询优

化、联合查询优化等）、系统运维（包括数据配置与调

优、查询负载分析与预测）等关键性问题的发展近况

进行更全面系统的回顾与分析，剖析不同人工智能

技术应用于查询处理与优化各环节的优势与不足，

详尽地梳理人工智能赋能的查询处理与优化新技术

中的主要挑战与解决方案，并探讨发展方向，为未来

的研究工作奠定基础。

Fig.1 Roadmap of contents of this paper

人工智能（artificial intelligence，AI）是研究让计

算机来模拟人的思维过程和智能行为（比如学习、推

1082

计算机科学与探索

www.ceaj.org

理、思考、规划等）的技术科学，主要研究计算机的智

能原理、制造类似于人脑的智能计算机，以实现更高

层次的计算机应用，例如机器人、语言识别、图像识

别、自然语言处理等

[7]

。机器学习作为人工智能的核

心内容，是使计算机具有智能的根本途径，其应用遍

及人工智能的各个领域。与传统的为解决特定任

务、硬编码的软件程序不同，机器学习不需要为机器

编写专门的业务逻辑代码，由机器通过通用的机制

对大量的数据分析学习，用于真实世界中事件的决

策和预测。下面对数据库优化管理中几种常用的人

工智能技术进行简单介绍。

2.1

神经网络是机器学习中重要的技术。神经网络

是由具有适应性的简单单元组成的广泛并连的网

络，它的组织能够模拟生物神经系统对真实世界物

体所做出的交互反应

[8]

。如图 2 所示，神经网络通常

由一个具有层级结构的加权图表示。图中的每个节

点被称为一个神经元，是一个真实神经元的功能抽

象。神经网络的每一层由若干个神经网络组成，每

层的神经元与下一层神经元全连接。每一层的神经

元将前一层神经元的输出值作为输入，并根据权值

和函数计算神经元的输出。在现实任务中，神经网

络大多使用反向传播算法进行权值训练。

Fig.2 Example of neural network

2.2

强化学习是一种针对马尔可夫决策过程（Mar-

kov decision process，MDP）的随机优化技术

[9]

，常用

的算法包括 Q-learning、Policy Gradients 等。强化学

习利用试错法使机器能够根据交互环境中的自身行

为和经验反馈学习一个策略。如图 3 所示，机器在时

间

t 收到环境告知的当前状态 s

，机器根据策略执行

动作

，环境将给出这个动作的奖励值 r

。接下来

环境将给出机器

t + 1 时刻的状态 s

t + 1

。不断重复这个

过程，直到机器完成任务。由此，状态、动作、奖励值

构成了机器的经验数据。强化学习的目标则是根据

经验数据最大化累计奖励值，学习最优的策略。

Fig.3 Example of reinforcement learning

强化算法可以分为基于模型的方法（model-based）

与免模型的方法（model-free）。前者主要发展自最优

控制领域，通常先通过高斯过程（Gaussian process，

GP）或贝叶斯网络（Bayesian network，BN）等工具针

对具体问题建立模型，然后通过机器学习或最优控

制的方法，如模型预测控制（model predictive con-

trol，MPC）、线性二次调节器（linear quadratic control，

LQR）、线性二次高斯（linear quadratic Gaussian，

LQG）、迭代学习控制（iterative learning control，ICL）

等进行求解。而后者更多地发展自机器学习领域，

属于数据驱动的方法。通过大量采样估计机器的状

态、动作值函数或回报函数，从而优化动作策略。

2.3

卷积神经网络（convolutional neural network，CNN）

是早期专门针对图像识别问题设计的神经网络。其

核心是通过局部操作对特征进行分层采样，利用共

享参数提高训练性能。如今，CNN 也被用于自然语

言处理中

[10]

。

CNN 包括3 种层结构，即卷积层、池化层与全连

接层。卷积层将输入数据加入一组卷积滤波器，每

个滤波器通过卷积计算提取特征。同一层的卷积滤

波器共享权值，降低模型复杂度。池化层通过执行

非线性采样，减少网络需要学习的参数个数，简化输

出。池化方式包括最大池化、加和池化、均值池化、

最小值池化和随机池化等。全连接层用于提取数据

特征。

CNN 的主要优势在于：（ 1）能够较好地适应图像

的结构；（ 2）同时进行特征提取和分类，使特征提取

有助于特征分类；（ 3）权值共享能够减少网络的训练

参数，简化神经网络结构，提高了模型适应性。

1083

of 23

10墨值下载

人工智能查询优化查询优化器

相关文档

评论