关于Oracle并行执行工作原理

Part1.干货速递

        查询协调器获得所需的并行服务器数量

         并行执行协调器检查SQL语句执行计划中的每个操作，然后确定在并行执行服务器之间必须以何种方式划分或重新分布操作上的行。作为具有内部和操作间并行性的并行查询的示例，我们就不建立测试表了。

 以SH用户的sales, customers作为案例标准：

       整体执行逻辑为：table access full sales或者table access full customers ->hash join ->group by sort ->parallel execution coordinator

      给定两组并行执行服务器 SS1 和 SS2，执行过程如下:由于查询中指定DOP的并行提示，每个服务器集(SS1和SS2)有四个执行过程

      子集SS1首先扫描CUSTOMERS并将行发送给SS2，后者在行上构建一个哈希表。换句话说，SS2中的使用者和SS1中的生产者同时工作:一个是并行地扫描CUSTOMERS，

     另一个是使用行并构建哈希表以支持并行地进行哈希连接。我们管这叫操作间并行性。

     SS1扫描完整个CUSTOMERS后，将并行扫描SALES。将它的行发送到SS2中的服务器，然后服务器执行探测以并行完成哈希连接。在SS1并行扫描SALES并将行发送到SS2之后，

     它将切换到并行执行组操作。这是两个服务器集并发运行的方式，以实现查询树中不同操作符之间的操作并行性

      并行执行的另一个重要方面是，当行从一个服务器集中发送到另一个服务器时，会重新分配行。对于上面示例的执行计划，在SS1中的服务器进程从customers表中扫描

     一行之后，应该将它发送到SS2中的哪个服务器进程? 行正在流入的操作符决定重新分配。在本例中，通过连接列上的哈希分区，将从执行customers并行扫描的SS1向上

  汇总重新分配到执行并行哈希连接的SS2

      GROUP BY SORT操作是HASH JOIN操作的使用者，因为GROUP BY SORT需要HASH JOIN输出

       为了并行执行查询，Oracle通常创建一组生产者并行执行服务器和消费者并行执行服务器。生产者服务器从表中检索行，消费者服务器对这些行执行连接、排序、DML和DDL等操作。

    生产者集中的每个服务器都有一个到消费者集中的每个服务器的连接。并行执行服务器之间的虚拟连接数量随着并行度的平方而增加。

       每个通信通道至少有一个，有时Oracle 11gR2最多有四个内存缓冲区，这些缓冲区是从共享池中分配的。多个内存缓冲区促进并行执行服务器之间的异步通信

        单个实例环境最多为每个通信通道使用三个缓冲区。Oracle实际应用程序集群环境最多为每个通道使用4个缓冲区。理解消息缓冲区以及生产者并行执行服务器如何连接到

    消费者并行执行服务器的概念对于理解parallel的执行计划其实很重要

       当同一实例上的两个进程之间有连接时，服务器通过在内存(共享池中)来回传递缓冲区来进行通信。当连接在不同实例中的进程之间时，通过互连使用外部高速网络协议发送消息。

    DOP实际上等于并行执行服务器的数量

        与单个操作关联的并行执行服务器的数量称为并行度(DOP)。并行执行的设计是为了有效地使用多个cpu。Oracle数据库并行执行框架允许显式选择特定程度的并行性，

    或者依赖Oracle数据库自动控制它

       手动指定并行度：

        alter table t_600_demo parallel 10;

      在这种情况下，仅访问t_600_demo表的查询使用请求的DOP 10，可能分配10个并行服务器(生产者或消费者);只要指定了不同的DOP, Oracle数据库就会使用更高的DOP。

02

       如果指定了PARALLEL子句，但没有列出并行度，对象将获得默认的DOP。默认并行度使用公式根据系统配置确定DOP

03

       举个例子：默认情况下，INSTANCE_COUNT是集群中的所有节点。但是，如果使用Oracle RAC服务来限制并行操作可以执行的节点数，那么参与节点数就是属于该服务的节点数。

     例如，在一个4节点的Oracle RAC集群中，每个节点都有8个CPU内核而没有Oracle RAC服务，默认DOP是2 x 8 x 4 = 64

04

        默认的DOP算法是为了使用最大的资源而设计的，并假设如果可以使用更多的资源，操作完成得更快。默认的并行性目标是单用户工作负载。在多用户环境中，不建议使用默认并行

051

       SQL语句的DOP也可以由资源管理器设置或限制。这里对resource manager就不做介绍了，以后我们通过具体的案例来为大家分享

当将PARALLEL_DEGREE_POLICY设置为AUTO时，Oracle数据库会自动决定一条语句是否并行执行，以及它应该使用什么DOP。Oracle数据库还确定语句是否可以立即执行，或者是否排队等待更多的系统资源可用。最后，Oracle数据库决定语句是否可以利用聚合的集群内存。

下面是将并行度策略设置为automatic时并行语句处理的总结：

  1.发出一条SQL语句。

  2.语句被解析，优化器决定执行计划。

  3.检查    PARALLEL_MIN_TIME_THRESHOLD初始化参数指定的阈值限制。

•  如果执行时间小于阈值限制，SQL语句将连续运行。
  

•  如果执行时间大于阈值限制，则根据优化器计算的DOP并行运行语句

        优化器根据语句的资源需求自动确定语句的DOP。优化器在执行计划中使用所有扫描操作(全表扫描、索引快速全扫描等等)的成本来确定语句所需的DOP。

         然而，优化器限制了实际的DOP，以确保并行服务器进程不会压倒系统。这个限制是由PARALLEL_DEGREE_LIMIT参数设置的。这个参数的默认值是CPU，这意味着进程的数量受系统上的CPU数量的限制(PARALLEL_THREADS_PER_CPU * CPU_COUNT *可用实例数量)，也称为默认DOP。通过调整这个参数设置，可以控制优化器可以为SQL语句选择的最大DOP。

           优化器确定的DOP显示在执行计划输出的notes部分(如下面的解释计划输出所示)，使用执行计划语句或V$SQL_PLAN都可以看到：

         PARALLEL_MIN_TIME_THRESHOLD是控制自动DOP的第二个初始化参数。它指定了一个语句在考虑自动DOP之前应该具有的最小执行时间。默认情况下，这是10秒。

    优化器首先计算SQL语句的串行执行计划

       如果估计执行时间超过PARALLEL_MIN_TIME_THRESHOLD(10秒)，则该语句将成为自动DOP的候选语句

      我们应该怎么去控制自动并行度呢？

      控制自动DOP的初始化参数有两个，PARALLEL_DEGREE_POLICY和PARALLEL_MIN_TIME_THRESHOLD。它们还被描述为自动并行度策略和控制自动DOP、并行语句排队和  内存中并行执行。还有两个提示可以用来控制并行性。

如何使用ALTER语句设置自动并行度：

  ALTER SESSION SET parallel_degree_policy = limited;

  ALTER TABLE emp parallel (degree default);

    SELECT *+parallel */ ename, dname FROM emp e, dept d WHERE e.deptno=d.deptno;

01

    可以使用parallel hints来设置并行度。它接受一个可选的参数，表示为语句运行时的DOP。

02

      此外，NO_PARALLEL hint覆盖了DDL中创建或修改表的一个并行参数。下面的例子说明了强制并行执行语句:

SELECT *+ parallel(10) */ ename, dname FROM emp e, dept d

WHERE e.deptno=d.deptno;

 SELECT *+ no_parallel */ ename, dname FROM emp e, dept d

WHERE e.deptno=d.deptno;

SELECT *+ parallel(auto) */ ename, dname FROM emp e, dept d

WHERE e.deptno=d.deptno;

SELECT *+ parallel(manual) */ ename, dname FROM emp e, dept d

WHERE e.deptno=d.deptno;

      当将PARALLEL_DEGREE_POLICY设置为AUTO时，Oracle数据库会决定使用并行执行访问的对象是否会从缓存在SGA中获益。缓存对象的决策基于一组定义良好的启发式方法:

       包括对象的大小和访问对象的频率。在Oracle RAC环境中，Oracle数据库将对象的各个部分映射到活动实例上的每个缓冲区缓存中。通过创建这个映射，Oracle数据库自动知道要访问哪个缓冲区缓存内容。

       Oracle数据库防止多个实例反复从磁盘读取相同的信息，从而最大化缓存对象的内存数量。如果对象的大小大于缓冲区缓存的大小(单个实例)或缓冲区缓存的大小乘以Oracle  RAC集群中的活动实例数，则使用直接路径读取读取对象。

      Adaptive Parallelism，也叫自适应并行

      默认情况下启用的自适应多用户算法在系统负载增加时降低了并行度。在使用Oracle数据库自适应并行能力时，数据库在SQL执行时使用一种算法来确定并行操作是否应该接收请求的DOP，还是应该降低DOP以确保系统没有过载，这个算法我不确定，因为ORACLE没公开，目前知道了解到这里。

       在一个通过使用高DOP并行执行的系统中，当只有少数操作并行运行时，自适应算法将DOP调降。虽然该算法保证了最优的资源利用率，但用户可能会遇到不一致的响应时间。

       不建议在需要确定响应时间的环境中单独使用自适应并行能力。通过数据库初始化参数PARALLEL_ADAPTIVE_MULTI_USER控制自适应并行性。

       控制自动DOP、并行语句排队和内存中并行执行          

      MAUAL-禁用自动DOP、语句排队和内存中并行执行。它将并行执行的行为恢复到Oracle数据库11g之前的行为，版本2(11.2)是默认的。

       LIMITED-允许一些语句的自动DOP，但并行语句队列和内存中的并行执行是禁用的。自动DOP仅适用于访问用PARALLEL子句显式声明的表或索引的语句。具有DOP指定的表和索引使用显式DOP设置

      AUTO -支持自动DOP、并行语句排队和内存中并行执行。