数据库设计时的问题和解决方法

1.要注意：三大范式

你搞数据库的应该知道

我不累赘了

2，先要明白

你要实现什么功能

先想出主要的几张表

然后给慢慢细化

3.在2的基础上

已经想好

该有的表了

理清他们之间的关系

4.要从客户的角度考虑

尽量提高客户体验

DB2数据库的性能与稳定性直接跟数据库对象的多少、大小有关。如果对象很少，不复杂，那么就算不怎么规划，也能够达到比较高的性能。如果对象数据比较多、比较大的话，那么就需要在数据库设计之前好好的规划，否则会在很大程度上影响数据库的性能与稳定性。

一、选择合适的语言与数据库字符集。

在企业中部署数据库的时候，首先需要在 *** 作系统上安装数据库。而在安装数据库的时候，需要选择安装的语言环境。即是以中文状态下安装数据库还是以英文状态安装数据库。如在启动安装程序的时，可以利用/i language选项来指定安装过程中所采用的语言。到目前为止，DB2数据库已经支持很多种语言。那么数据库在安装过程中，该采用什么语言呢？笔者建议，只要数据库管理员有一点英语基础，最好能够采用英文语言环境来进行安装。虽然说现在DB2数据库的中文语言环境已经设计的比较完善，但是笔者仍然担心其有一些不知名的漏洞。为此笔者在安装DB2数据库的时候，基本上都采用的是英文语言环境来进行安装。即将语言设置为“EN”，表示英文。提高DB2数据备份与恢复的效率。

另外如果DB2 数据库中要保存英文以外的数据，或者说用户会使用不同的字符集访问数据库时，还需要在数据库安装过程中选择特定的数据库字符集。DB2数据库中的所有字符数据，包括数据字典中的数据，都是存储在数据库字符集中的。如果用户使用不同的字符集访问数据库时，数据库管理员就需要选择包含所有这些用户的字符集的超集。只有如此，才能够确保系统能够很方便的使用替代字符完成字符的转换，从而提高数据库的性能。如果用户选择的字符集不对，有可能会出现一些莫名其妙的问题。如一次用户在安装数据库过程中，没有选择合适的字符集。虽然在使用的过程中，其存储中文字符没有问题。但是当对数据库采取还原 *** 作时，却发现还原后的数据库中有些原来是中文字符的地方，尽然出现了乱码。这主要就是没有选择合适的字符集惹的祸。有时候如果字符集选择不当的话，从外部数据源(如Excel表格)导入数据的时候，中文数据也会无法顺利导入。所以，数据库管理员在安装数据库的时候，需要根据实际企业，来选择合适的字符集。

二、评估数据库对象的大小、数量。

DB2数据库的性能与稳定性直接跟数据库对象的多少、大小有关。如果对象很少，不复杂，那么就算不怎么规划，也能够达到比较高的性能。如果对象数据比较多、比较大的话，那么就需要在数据库设计之前好好的规划，否则会在很大程度上影响数据库的性能与稳定性。其实DB2 数据库就好像一个仓库，数据库中的对象(如索引、数据表、表空间)等等就好像仓库中的货物。如果货物比较少，那么随便放放，仓库都显得很空旷。货物寻找起来也会很方便。但是如果货物数量比较多、比较大，就必须要对其存储空间进行合理规划。只有如此才能够让仓库的空间利用率达到最佳状态。并且货物的存放有序，在查找起来也特别的方便。笔者这里就以仓库管理为例，说话该如何做好数据库对象大小、数量等方便的评估，以及他们对于数据库性能与稳定性的影响。

1、根据对象大小来规划存储空间。在仓库货物的摆放上，要根据货物的大小来规划存储空间。或者说要首先防止大的货物。只有如此空间的利用率才会最高。其实在规划DB2对象的时候，也是如此。如某些表可能会包含的记录比较多，属于大表。此时数据库管理员就需要考虑，是否将其放置在一个独立的表空间或者硬盘空间上，以提高数据 *** 作的性能。大表所对应的索引往往也是比较大的。为此在硬件条件允许的情况下，将索引表与数据表分别存放在不同的硬盘上，可以提高数据库的性能。而对于一些比较小的对象(如数据表)，可以将它们存放在一个表空间中。其实这个表空间就好像仓库中的一个个纸盒子。将小的对象放入到这个“纸盒子”中，不但不占空间，而且也容易管理。

2、根据对象的使用频率来规划存放空间。在仓库中摆放物品的时候，往往会把近期就要用到的货物或者频繁需要用到的东西放在仓库门口或者容易拿到的地方。如此在拿这些货物时就会比较便捷，也不会对其他货物产生影响。对于DB2数据库中的对象来说，也是这么一回事。可以将那些访问量比较大的对象，如索引、数据表，存放在性能比较好的硬盘上或者单独的硬盘中。此时访问这些数据，就不会与其它对象产生I/O冲突， *** 作起来速度就会比较快。而将不怎么用到的对象，存放在一起。由于他们不怎么被用到，所以即使存放在性能比较低的硬盘上，其对数据库性能产生的负面影响也是非常有限的。 在DB2数据库里面如何更新执行计划

3、根据类别来存放数据库对象。在仓库中存放货物的时候，还会对其进行分类。然后根据类别来进行存放。这有利于货物的管理与检索。其实在数据库对象存储空间设计时，也需要考虑这个因素。如现在应用软件在设计的时候，很多都是根据模块来设计。那么在数据库对象设计时，也需要根据这个模块来设计存储的空间。如将同一个模块的数据库对象存放在同一个表空间内。不过这可能会跟上面的两个建立相违背。此时最好是在对象的命名上做文章。如可以根据模块的不同，分别给数据库对象取一个相同的前缀或者后缀。如即使同一块模块要用到多个表空间，此时就可以给表空间一个相同的前缀。如此在管理数据库对象的时候，根据表空间的前缀就可以判断其所属的模块了。如果再加上一个后缀来表示其数据库对象的分类，那么就更合理了。为此在管理数据库对象的时候，要执行分类管理。不仅要从技术上对其进行分类，如分为索引、数据表、关键字等等。还需要从功能上进行分类，如按应用程序的模块来进行分类等等。

三、设计好数据库备份与还原的方案。

在数据库交付生产使用之后，往往需要进行大量的测试。但是在测试过程中往往又会产生很多的垃圾数据。可是交给企业应用的，肯定是一个干净的数据库系统。为此在数据库设计的时候，就需要想好如果减少测试过程中的垃圾数据。或者采取什么样的方式来实现在交互时自动清除垃圾数据的机制。

一般来说，想要一个数据库备份与还原的方案，减少数据库测试所产生的垃圾数据。如现在在给企业部署数据库的时候，往往是先安装一个干净的数据库系统。当然字符集这些需要预先设置好。然后再利用数据库还原功能将预先定义好的数据库模型还原出来。

另外有些时候需要两个方案互为补充。如在数据库初始化的过程中，采用数据库还原的方式来创建数据库对象。但是在应用软件升级的时候，由于此时已经有了用户的数据，为此不能够在使用数据库还原的方法。而是通过应用程序来执行某些SQL代码，来调整或者增加部分数据库对象。无论采用哪一种方式，需要遵循的一个原则就是在给企业创建数据库对象时要最大限度的减少测试。而要做到这一点，就是需要先在测试服务器上创建对象并测试对象可用。然后直接将相关的SQL代码在投入使用的数据库服务器上执行。

数据库慢一般有三种情况

逐渐变慢

突然变慢

不定时变慢

第一种情况 逐渐变慢 要建立一个长期的监控机制 比如 写个shell脚本每天的忙时(通常 ~ etc )定时收集os neork db的信息 每个星期出report对收集到的信息进行分析 这些数据的积累 可以决定后期的优化决策 并且可以是DBA说服manager采用自己决策的重要数据 DBA的价值 就在每个星期的report中体现

第二种情况 突然变慢 也是最容易解决的 先从业务的角度看是DB的使用跟以前有何不同 然后做进一步判断 硬件/网络故障通常也会引起DB性能的突然下降

第一步: 察看DB/OS/NEORK的系统log 排除硬件/网络问题

第二步 察看数据库的等待事件 根据等待事件来判断可能出问题的环节 如果 没有等待事件 可以排除数据库的问题 如果有等待时间 根据不同的等待事件 来找引起这些事件的根源

比如latch free等跟SQL parse有关系的等待事件 OS的表现是CPU 的占用率高

db file scattered read等跟SQL disk read有关系的等待时间 OS的表现是iostat可以看到磁盘读写量增加

第三步: 察看os的信息 CPU/IO/MEMORY等

a Cpu 的占用率

CPU占用率与数据库性能不成反比 CPU占用率高 不能说明数据库性能慢 通常情况 一个优化很好 而且业务量确实很大的数据库 CPU的占用率都会高 而且会平均分布在每个进程上 反过来 CPU的占用率都会高也不代表数据库性能就好 要结合数据库的等待事件来判断CPU占用率高是否合理

如果某个进程的cpu占用高 肯定是这个进程有问题 如果 不是oracle的进程 可以让application察看是否程序有死循环等漏洞 如果 是oracle的进程 可以根据pid查找oracle数据字典看看这个进程的发起程序 正在执行的sql语句 以及等待事件 然后 不同情况使用不同的方法来解决

b IO

排除硬件的IO问题 数据库突然变慢 一般来说 都是一个或几个SQL语句引起的

如果IO很频繁 可以通过优化disk reads高的TOP SQL来解决 当然这也是解决IO问题的最笨也是最有效的办法

OS以及存储的配置也是影响IO的一个重要的原因

比如 最常见的HP unix下异步IO的问题 如果DBA GROUP没有MLOCK的权限 ORACLE是不使用AIO的 偏偏OS与DB的两方的admin如果配合不够好地话 这个配置就很容易给漏掉了

c Memory

第二种情况与memory的关系比较小 只要SGA区配置合理没有变化 一般来说 只要不是Application Memory leak 不会引起突然变慢的现象

第三种情况 不定时变慢 是最难解决的 现场出现的问题原因也是五花八门千奇百怪 最重要的是 出现慢的现象时 以最快的速度抓取到最多的信息以供分析 先写好抓取数据的shell 脚本 并在现象发生时及时按下回车键

一个例子

数据库突然变慢

背景: 一个新应用上线后 数据库突然变慢

第一步 调查新应用

据开发人员讲新应用访问的都是新建立的表 表的数据量很小 没有复杂的SQL查询

查询 v$sqlarea 分别按照disk_reads / buffer_gets / executions 排序 TOP SQL 中没有新应用的SQL 排除新应用数据库访问照成的性能问题

第二步 察看数据库log/ OS log

数据库log中可以看到大量的ORA 错误 以及大量的dump文件 分析dump文件(时间久了 没有dump文件可参考 具体细节没法描述下来 ) 发现是新应用通过dblink访问remote DB时生成的dump文件 应用开发人说没法修改 Oracle也没有相应的patch解决

OS log中没有错误信息

第三步 察看statspack report

从wait events中看到 Top event是 buffer busy waits db file parallel write 等于IO相关的等待事件

从buffer busy waits 的统计信息来看 是等待data block

还有些physical reads等信息与从前比没有太多的异常

Tablespace 的IO reads/writes也没有异常 但是wait明显增加

初步确定是IO问题

第四步 察看OS的信息

top 命令(输出为实验室数据 仅作格式参考)

load averages: : :

processes: sleeping zombie stopped on cpu

CPU states: % idle % user % kernel % iowait % swap

Memory: M real M free M swap in use M swap free

PID USERNAME THR PRI NICE SIZE RES STATE TIME CPU MAND

a K K cpu/ : % top

mpgj M K sleep : % view_server

当时现场数据显示 iowait 值与以前相比大很多 没有异常进程

sar –d (输出为实验室数据 仅作格式参考)

SunOS sc Generic_ sun u / /

: : device %busy avque r+w/s blks/s avwait avserv

sd

sd a

sd b

sd c

sd g

当时现场数据显示 放数据文件的设备 avwait avque blks/s值偏大

第五步 察看数据库的等待事件

一个大业务量的数据库如果性能不好的话 一般来说都会有大量的等待事件 上百个等待事件很常见 我通常会按照EVENT进行group

Select count(*) event from v$session_wait where event not in ( *** on timer pmon timer rdbms ipc message SQL*Net message from client ) group by event order by desc

输出结果显示最多的等待事件是buffer busy waits

进一步分析 找出等待的原因

Select count(*) p p p from v$session_wait where event = buffer busy waits group by p p p

在buffer busy waits等待事件中

P = file#

P = block#

P = id ( 此id对应为等待的原因)

按照p p p group是为了明确buffer busy waits的等待集中在哪些对象上

Metalink对buffer busy waits等待事件的描述有如下一段话

If P shows that the buffer busy wait is waiting for a block read to plete then the blocking session is likely to be waiting on an IO wait (eg: db file sequential read or db file scattered read for the same file# and block#

输出结果显示 等待分布在多个不同的对象上 等待原因为 waiting for a block read to plete 进一步分析为IO的问题

如果 buffer busy waits等待集中在某个对象上 说明有hot block 通过重新rebuild这个对象增加freelist来解决 RAC环境增加freelist group

通过以下SQL可以找到具体的object

Select owner segment_name segment_type from dba_extents where file_id=P and P beeen block_id and block_id+blocks

P P 是上面v$session_wait查出的具体的值

第六步 明确原因 找出解决步骤

分析

磁盘的IO流量增加

磁盘的IO等待增加

DB的IO流量没有增加

DB的IO等待增加

由 可以推出 有数据库以外的IO访问磁盘

察看磁盘配置 该VG只存放了数据库数据文件和数据库系统文件 排除数据文件 产生IO的是数据库系统文件

数据库系统文件一般来说不会产生IO 有IO读写的地方只有log和dump文件

结论 ora 产生的大量core dump文件堵塞IO

解决办法

消除ora (应用不改的情况下 无法解决)

把dump目录指向别的VG

让oracle尽量少的去写core dump文件

background_core_dump = partial

lishixinzhi/Article/program/Oracle/201311/18969

---