OracleRedolog并行机制详解

Oracle的数据库日志称为Redo log 所有数据改变都记录Redo log 可以用于修复受损的数据库 Redo log 是用于恢复和一个高级特性的重要数据 一个redo条目包含了相应 *** 作导致的数据库变化的所有信息 所有redo条目最终都要被写入redo文件中去

Redo log buffer是为了避免Redo文件IO导致性能瓶颈而在sga中分配出的一块内存 一个redo条目首先在用户内存(PGA)中产生 然后由oracle服务进程拷贝到log buffer中 当满足一定条件时 再由LGWR进程写入redo文件 由于log buffer是一块 共享 内存 为了避免冲突 它是受到redo allocation latch保护的 每个服务进程需要先获取到该latch才能分配redo buffer 因此在高并发且数据修改频繁的oltp系统中 我们通常可以观察到redo allocation latch的等待 Redo写入redo buffer的整个过程如下

在PGA中生产Redo Enrey >服务进程获取Redo Copy latch(存在多个 CPU_COUNT* ) >服务进程获取redo allocation latch(仅 个) >分配log buffer >释放redo allocation latch >将Redo Entry写入Log Buffer >释放Redo Copy latch

shared strand

为了减少redo allocation latch等待 在oracle 中 引入了log buffer的并行机制 其基本原理就是 将log buffer划分为多个小的buffer 这些小的buffer被成为strand(为了和之后出现的private strand区别 它们被称之为shared strand) 每一个strand受到一个单独redo allocation latch的保护 多个shared strand的出现 使原来序列化的redo buffer分配变成了并行的过程 从而减少了redo allocation latch等待

shared strand的初始数据量是由参数log_paralleli *** 控制的在 g中 该参数成为隐含参数 并新增参数_log_paralleli *** _max控制shared strand的最大数量_log_paralleli *** _dynamic则控制是否允许shared strand数量在_log_paralleli *** 和_log_paralleli *** _max之间动态变化

HELLODBA >select  nam ksppinm val KSPPSTVL nam ksppdesc

    from    sys x$ksppi nam

            sys x$ksppsv val

    where nam indx = val indx

    AND   nam ksppinm LIKE _%

    AND   upper(nam ksppinm) LIKE %LOG_PARALLE%

KSPPINM                    KSPPSTVL   KSPPDESC

_log_paralleli ***                      Number of log buffer strands

_log_paralleli *** _max                 Maximum number of log buffer strands

_log_paralleli *** _dynamic   TRUE       Enable dynamic strands

每一个shared strand的大小 = log_buffer/(shared strand数量) strand信息可以由表x$kcrfstrand查到(包含shared strand和后面介绍的private strand g以后存在)

HELLODBA >select indx strand_size_kcrfa from x$kcrfstrand where last_buf_kcrfa !=

      INDX STRAND_SIZE_KCRFA

                   

                   

HELLODBA >show parameter log_buffer

NAME                                 TYPE        VALUE

log_buffer                           integer    

关于shared strand的数量设置 个cpu之内最大默认为 当系统中存在redo allocation latch等待时 每增加 个cpu可以考虑增加 个strand 最大不应该超过 并且_log_paralleli *** _max不允许大于cpu_count

注意 在 g中 参数_log_paralleli *** 被取消 shared strand数量由_log_paralleli *** _max _log_paralleli *** _dynamic和cpu_count控制

Private strand

为了进一步降低redo buffer冲突 在 g中引入了新的strand机制 Private strand Private strand不是从log buffer中划分的 而是在shared pool中分配的一块内存空间

HELLODBA >select * from V$sgastat where name like %strand%

POOL NAME BYTES

shared pool private strands

HELLODBA >select indx strand_size_kcrfa from x$kcrfstrand where last_buf_kcrfa =

INDX STRAND_SIZE_KCRFA

Private strand的引入为Oracle的Redo/Undo机制带来很大的变化 每一个Private strand受到一个单独的redo allocation latch保护 每个Private strand作为 私有的 strand只会服务于一个活动事务 获取到了Private strand的用户事务不是在PGA中而是在Private strand生成Redo 当flush private strand或者mit时 Private strand被批量写入log文件中 如果新事务申请不到Private strand的redo allocation latch 则会继续遵循旧的redo buffer机制 申请写入shared strand中 事务是否使用Private strand 可以由x$ktcxb的字段ktcxbflg的新增的第 位鉴定

HELLODBA >select decode(bitand(ktcxbflg ) ) used_private_strand count(*)

from x$ktcxb

where bitand(ksspaflg ) !=

and bitand(ktcxbflg ) !=

group by bitand(ktcxbflg )

USED_PRIVATE_STRAND COUNT(*)

对于使用Private strand的事务 无需先申请Redo Copy Latch 也无需申请Shared Strand的redo allocation latch 而是flush或mit是批量写入磁盘 因此减少了Redo Copy Latch和redo allocation latch申请/释放次数 也减少了这些latch的等待 从而降低了CPU的负荷 过程如下

事务开始 >申请Private strand的redo allocation latch (申请失败则申请Shared Strand的redo allocation latch) >在Private strand中生产Redo Enrey >Flush/Commit >申请Redo Copy Latch >服务进程将Redo Entry批量写入Log File >释放Redo Copy Latch >释放Private strand的redo allocation latch

注意 对于未能获取到Private strand的redo allocation latch的事务 在事务结束前 即使已经有其它事务释放了Private strand 也不会再申请Private strand了

每个Private strand的大小为 K g中 shared pool中的Private strands的大小就是活跃会话数乘以 K 而 g中 在shared pool中需要为每个Private strand额外分配 k的管理空间 即 数量* k

g:

SQL>select * from V$sgastat where name like %strand%

POOL NAME BYTES

shared pool private strands

HELLODBA >select trunc(value * KSPPSTVL / ) * *

from (select value from v$parameter where name = transactions ) a

(select val KSPPSTVL

from sys x$ksppi nam sys x$ksppsv val

where nam indx = val indx

AND nam ksppinm = _log_private_paralleli *** _mul ) b

TRUNC(VALUE*KSPPSTVL/ )* *

g:

HELLODBA >select * from V$sgastat where name like %strand%

POOL NAME BYTES

shared pool private strands

HELLODBA >select trunc(value * KSPPSTVL / ) * ( + ) *

from (select value from v$parameter where name = transactions ) a

(select val KSPPSTVL

from sys x$ksppi nam sys x$ksppsv val

where nam indx = val indx

AND nam ksppinm = _log_private_paralleli *** _mul ) b

TRUNC(VALUE*KSPPSTVL/ )*( + )*

Private strand的数量受到 个方面的影响 logfile的大小和活跃事务数量

参数_log_private_mul指定了使用多少logfile空间预分配给Private strand 默认为 我们可以根据当前logfile的大小(要除去预分配给log buffer的空间)计算出这一约束条件下能够预分配多少个Private strand

HELLODBA >select bytes from v$log where status = CURRENT

BYTES

HELLODBA >select trunc(((select bytes from v$log where status = CURRENT ) (select to_number(value) from v$parameter where name = log_buffer ))*

(select to_number(val KSPPSTVL)

from sys x$ksppi nam sys x$ksppsv val

where nam indx = val indx

AND nam ksppinm = _log_private_mul ) / / )

as calculated private strands

from dual

calculated private strands

HELLODBA >select count( ) actual private strands from x$kcrfstrand where last_buf_kcrfa =

actual private strands

当logfile切换后(和checkpoint一样 切换之前必须要将所有Private strand的内容flush到logfile中 因此我们在alert log中可能会发现日志切换信息之前会有这样的信息 Private strand flush not plete 这是可以被忽略的) 会重新根据切换后的logfile的大小计算对Private strand的限制

HELLODBA >alter system switch logfile

System altered

HELLODBA >select bytes from v$log where status = CURRENT

BYTES

HELLODBA >select trunc(((select bytes from v$log where status = CURRENT ) (select to_number(value) from v$parameter where name = log_buffer ))*

(select to_number(val KSPPSTVL)

from sys x$ksppi nam sys x$ksppsv val

where nam indx = val indx

AND nam ksppinm = _log_private_mul ) / / )

as calculated private strands

from dual

calculated private strands

HELLODBA >select count( ) actual private strands from x$kcrfstrand where last_buf_kcrfa =

actual private strands

参数_log_private_paralleli *** _mul用于推算活跃事务数量在最大事务数量中的百分比 默认为 Private strand的数量不能大于活跃事务的数量

HELLODBA >show parameter transactions

NAME TYPE VALUE

transactions integer

transactions_per_rollback_segment integer

HELLODBA >select trunc((select to_number(value) from v$parameter where name = transactions ) *

(select to_number(val KSPPSTVL)

from sys x$ksppi nam sys x$ksppsv val

where nam indx = val indx

AND nam ksppinm = _log_private_paralleli *** _mul ) / )

as calculated private strands

from dual

calculated private strands

HELLODBA >select count( ) actual private strands from x$kcrfstrand where last_buf_kcrfa =

actual private strands

注 在预分配Private strand时 会选择上述 个条件限制下最小一个数量 但相应的shared pool的内存分配和redo allocation latch的数量是按照活跃事务数预分配的

lishixinzhi/Article/program/Oracle/201311/16501

redo日志的作用是叫做重做日志文件。

ONLINE Redo log重做日志(online redo log )。

Oracle数据库所在服务器执行shutdown abort等命令使得在服务器重新启动之后，Oracle数据库正常的启动实例。

Oracle会使用重做日志，把数据库恢复到服务器掉电前的那一个时刻，从而使得数据库能正常的启动起来 。

在Oracle数据库中，至少会有两个重做日志组，而且每个组里面至少包含了一个重做日志文件。

日志组不会自动增加，在一个写满之后，会自动去写下一个。

在下一个被写满之后会又从第一个开始写起。

Archive redo log归档日志(archive log)主要用于硬件级别的错误。

这就要使用归档日志文件，通过归档日志文件。

把数据库恢复到归档日志所在的时间点上，然后再通过在线重做日志文件把数据库恢复到当前的时间点上。

可以说mysql的多数特性都是围绕日志文件实现，而其中最重要的有以下三种

innodb 为了提高磁盘I/O读写性能，存在一个 buffer pool 的内存空间，数据页读入会缓存到 buffer pool，事务的提交则实时更新到 buffer pool，而不实时同步到磁盘（innodb 是按 16KB 一页同步的，一事务可涉及多个数据页，实时同步会造成浪费，随机I/O）。事务暂存在内存，则存在一致性问题，为了解决系统崩溃，保证事务的持久性，我们只需把事务对应的 redo 日志持久化到磁盘即可（redo 日志占用空间小，顺序写入磁盘，顺序I/O）

sql 语句在执行的时候，可能会修改多个页面，还会更新聚簇索引和二级索引的页面，过程产生的redo会被分割成多个不可分割的组（Mini-Transaction）。MTR怎么理解呢？如一条 insert 语句可能会使得页分裂，新建叶子节点，原先页的数据需要复制到新数据页里，然后将新记录插入，再添加一个目录项指向新建的页子。这对应多条 redo 日志，它们需要在原子性的 MTR 内完成

MTR 产生的 redo 日志先会被复制到一个 log buffer 里(类似 buffer pool)。而同步到磁盘的时机如下：

事务需要保证原子性，也是说事务中的 *** 作要么全部完成，要么什么也不做。如果事务执行到一半，出错了怎么办-回滚。但是怎么回滚呢，靠 undo 日志。undo 日志就是我们执行sql的逆 *** 作

binlog有三种格式：Statement、Row以及Mixed。

redolog 中的事务如果经历了二阶段提交中的prepare阶段，则会打上 prepare 标识，如果经历commit阶段，则会打上commit标识（此时redolog和binlog均已落盘）。崩溃恢复逻辑如下：

---