一句话来讲就是将用户的需求变成带有各种关系的表，以及其它的数据库结构，然后供编程使用
具体如下：
按照规范设计的方法，考虑数据库及其应用系统开发全过程，将数据库设计分为以下六个阶段
（1）需求分析。
（2）概念设计。
（3）逻辑设计。
（4）物理设计。
（5）数据库实施。
（6）数据库运行和维护。
5．1．1 需求分析阶段
进行数据库设计首先必须准确了解与分析用户需求，包括数据与处理需求。需求分析是整个设计过程的基础，是最困难、最耗时的一步。作为“地基”的需求分析是否做得充分与准确，决定了在其上构建“数据库大厦”的速度与质量。需求分析做得不好，可能会导致整个数据库重新设计，因此，务必引起高度重视。
5．1．2 概念模型设计阶段
在概念设计阶段，设计人员仅从用户角度看待数据及其处理要求和约束，产生一个反映用户观点的概念模式，也称为“组织模式”。概念模式能充分反映现实世界中实体间的联系，又是各种基本数据模型的共同基础，易于向关系模型转换。这样做有以下好处：
（1）数据库设计各阶段的任务相对单一化，设计复杂程度得到降低，便于组织管理。
（2）概念模式不受特定DBMS的限制，也独立于存储安排，因而比逻辑设计得到的模式更为稳定。
（3）概念模式不含具体的DBMS所附加的技术细节，更容易为用户所理解，因而能准确地反映用户的信息需求。
概念模型设计是整个数据库设计的关键，它通过对用户需求进行综合、归纳与抽象，形成一个独立于具体DBMS的概念模型。如采用基于E-R模型的数据库设计方法，该阶段即将所设计的对象抽象出E-R模型；如采用用户视图法，则应设计出不同的用户视图。
5．1．3 逻辑模型设计阶段
逻辑模型设计阶段的任务是将概念模型设计阶段得到的基本E-R图，转换为与选用的DBMS产品所支持的数据模型相符合的逻辑结构。如采用基于E-R模型的数据库设计方法，该阶段就是将所设计的E-R模型转换为某个DBMS所支持的数据模型；如采用用户视图法，则应进行表的规范化，列出所有的关键字以及用数据结构图描述表集合中的约束与联系，汇总各用户视图的设计结果，将所有的用户视图合成一个复杂的数据库系统。
5．1．4 数据库物理设计阶段
数据库的物理结构主要指数据库的存储记录格式、存储记录安排和存取方法。显然，数据库的物理设计完全依赖于给定的硬件环境和数据库产品。在关系模型系统中，物理设计比较简单一些，因为文件形式是单记录类型文件，仅包含索引机制、空间大小、块的大小等内容。
物理设计可分五步完成，前三步涉及到物理结构设计，后两步涉及到约束和具体的程序设计：
（1）存储记录结构设计：包括记录的组成、数据项的类型、长度，以及逻辑记录到存储记录的映射。
（2） 确定数据存放位置：可以把经常同时被访问的数据组合在一起，“记录聚簇（cluster）”技术能满足这个要求。
（3）存取方法的设计：存取路径分为主存取路径及辅存取路径，前者用于主键检索，后者用于辅助键检索。
（4）完整性和安全性考虑：设计者应在完整性、安全性、有效性和效率方面进行分析，作出权衡。
（5）程序设计：在逻辑数据库结构确定后，应用程序设计就应当随之开始。物理数据独立性的目的是消除由于物理结构的改变而引起对应用程序的修改。当物理独立性未得到保证时，可能会引发对程序的修改。
数据库物理设计是为逻辑数据模型选取一个最适合应用环境的物理结构，包括存储结构和存取方法。
5．1．5 数据库实施阶段
根据逻辑设计和物理设计的结果，在计算机系统上建立起实际数据库结构、装入数据、测试和试运行的过程称为数据库的实施阶段。实施阶段主要有三项工作。
（1）建立实际数据库结构。对描述逻辑设计和物理设计结果的程序即“源模式”，经DBMS编译成目标模式并执行后，便建立了实际的数据库结构。
（2）装入试验数据对应用程序进行调试。试验数据可以是实际数据，也可由手工生成或用随机数发生器生成。应使测试数据尽可能覆盖现实世界的各种情况。
（3）装入实际数据，进入试运行状态。测量系统的性能指标，是否符合设计目标。如果不符，则返回到前面，修改数据库的物理模型设计甚至逻辑模型设计。
5．1．6 数据库运行和维护阶段
数据库系统正式运行，标志着数据库设计与应用开发工作的结束和维护阶段的开始。运行维护阶段的主要任务有四项：
（1）维护数据库的安全性与完整性：检查系统安全性是否受到侵犯，及时调整授权和密码，实施系统转储与备份，发生故障后及时恢复。
（2）监测并改善数据库运行性能：对数据库的存储空间状况及响应时间进行分析评价，结合用户反应确定改进措施。
（3）根据用户要求对数据库现有功能进行扩充。
（4）及时改正运行中发现的系统错误。
图像数据在数据库内部的存储原理:XML 是文本型的数据交换结构，对于字符类型的文本交换非常的方便，实际工作中我们往往需要通过 XML 将二进制格式的图形图像信息数据进行数据交换。本文从介绍 BASE64 编码的原理入手，通过采用 C 语言编写 DB2 的嵌入存储过程，实现了在数据库内存中将文本格式的图片文件到二进制 BLOB 字段之间的转换，并且就性能优化等提出若干建议，该设计思路和程序可以广泛的应用到图像图形数据在 XML 的存储和转换。
--------------------------------------------------------------------------------
回页首
XML 存储图形图像的基本原理
XML 作为一种非常广泛的数据交换的载体被广泛的应用到了各行各业的数据交换中。对于图形图像数据的转换，需要采用 Base64 编码将二进制格式的图形图像信息转换成文本格式再进行传输。
Base64 编码转换的思想是通过 64 个 ASCII 字符码对二进制数据进行重新编码组合，即将需要转换的数据每三个字节（24 位）为一组，再将这 24 位数据按每组 6 位进行重新划分，在每组的最高 2 位填充 0 最终成一个完整的 8 位字节。如果所要编码的数据的字节数不是 3 的整数倍，需要在最后一组数据填充 1 到 2 个字节的 0 字节。例如：我们对 ABC 进行 BASE64 的编码，ABC 的编码值：A(65), B(66), C(67)。再取二进制 A（01000001）B（01000010）C（01000011）连接起来构成 010000010100001001000011，然后按 6 位为单位分成 4 个数据块并在最高位填充两个 0 后形成 4 个字节的编码后的值（00010000）（00010100）（00001001）（00000011）。再将 4 个字节的数据转换成十进制数为（16）（20）（19）（3）。最后根据 BASE64 给出的 64 个基本字符表，查出对应的 ASCII 码字符（Q）（U）（J）（D）。这里的值实际就是数据在字符表中的索引。
BASE64 字符表：
ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789。
某项目的数据交换采用 XML 的为介质，XML 的结构包括个人基本信息：姓名、性别、相片等信息，其中相片信息是采用经过 BASE64 函数转换后的文本型数据，图像图形信息通过 BASE64 进行数据转换后，形成文本格式的数据类型，再将相应的数据存放到 XML 中，最终形成可供交换的文本型的 XML 数据结构。
XML 的数据结构如下所示：
<?xml version=”1.0” encoding=”UTF-8” ?>
<HeadInfo>
<TotalNum>10<TotalNum>
<TransDate>2007-10-18</TransDate>
</HeadInfo>
<Data>
<Name>张三 </Name>
<Sex>男 </Sex>
<Photo>/9j/4AAQSkZJRgABAQAAAQABAAD......</Photo>
<Data>
--------------------------------------------------------------------------------
回页首
相片数据在 DB2 嵌入式 C 程序的实现方法
该项目要求能够在 DB2 数据库中将相片数据存储为二进制 BLOB 格式。我们采用 DATASTAGE 进行 XML 数据加载，将 XML 中的姓名、性别等基本数据项加载到相应的字段，其中文本型的相片数据则加载到 CLOB 字段中，再按照 BASE64 的编码规则进行逆向转码，整个数据流程如下图所示：
图 1. 相片存储流程图
用户的相片每天的更新数据为 30 万条，而且每个相片的平均大于 32KB，为了获得最佳的数据库性能，选择采用 C 存储过程的方式开发了 BASE64 的转换函数。每次函数读取存储在 CLOB 字段的文本格式数据全部存储到内存中，并且通过 decode 函数在内存中进行转码，转码后再存入数据库中。
程序的清单 1 是逐行读取 CLOB 字段，并且调用 decode 函数进行转码；程序的清单 2 是 decode 函数的关键性代码。完整的程序见源代码下载部分。
清单 1. 读入 CLOB，写入 BLOB 字段
EXEC SQL BEGIN DECLARE SECTION
SQL TYPE IS CLOB(100 K) clobResume//CLOB 结构体变量
SQL TYPE IS BLOB(100 K) blobResume//BLOB 结构体变量
sqlint16 bobind
sqlint16 lobind
sqlint16 cobind
sqlint32 idValue
EXEC SQL END DECLARE SECTION
int clob2bin(void)
{
// 声明 SQLCA 结构
struct sqlca sqlca
int charNb
int lineNb
long n
n=0
// 定义数据库游标
EXEC SQL DECLARE c1 CURSOR WITH HOLD FOR
SELECT czrkxp_a
FROM CZRK_blob for update
EXEC SQL OPEN c1
// 活动 CLOB 字段的信息，已经 CLOB 字段的大小
EXEC SQL FETCH c1 INTO :clobResume:cobind
// 循环读取 CLOB 字段，并且调用 DECODE 转码函数
while (sqlca.sqlcode != 100)
{
if (cobind <0)
{
printf(“ NULL LOB indicated.\n”)
}
else
{
n++
decode()// 文本格式到二进制流的转码函数
printf(“\nCurrent Row =%ld”,n)
// 数据写入 BLOB 字段
EXEC SQL update czrk_blob set czrkxp_blob = :blobResume
where current of c1
// 提交事务
EXEC SQL COMMIT
}
EXEC SQL FETCH c1 INTO :clobResume:cobind
}
// 关闭游标
EXEC SQL CLOSE c1
EXEC SQL COMMIT
return 0
}
清单 2. 文本文件到二进制文件的转换
void decode( void )
{
unsigned char in[4], out[3], v
int I, len
long j,k
j = -1
k=0
// 将读入 CLOB 结构体变量的数据进行转换
while( j <clobResume.length){
for( len = 0, I = 0I <4 &&( j <clobResume.length )i++ ) {
v = 0
while((j <clobResume.length) &&v == 0 ) {
j++
v = (unsigned char) clobResume.data[j]
v = (unsigned char) ((v <43 || v >122) ? 0 : cd64[ v – 43 ])
if( v ) {
v = (unsigned char) ((v == ‘$’) ? 0 : v – 61)
}
}
if( j <clobResume.length ) {
len++
if( v ) {
in[ I ] = (unsigned char) (v – 1)
}
}
else {
in[i] = 0
}
}
if( len ) {
decodeblock( in, out )
// 写入到 BLOB 结构体变量中
for( I = 0I <len – 1i++ ) {
blobResume.data[k] = out[i]
k++
}
}
}
blobResume.length= k
}
--------------------------------------------------------------------------------
回页首
数据的转换效率和优化建议
在 IBM P570 数据库服务器上运行，该程序的运行效率非常高，先后进行了几个数量级的测试，最终平均测试的转换效率为：每 1 万笔数据记录，转换的效率 55 秒，即 182 条 / 秒。值得注意的是，整个转换过程占用 CPU 的量并不特别大，主要的性能瓶颈在磁盘阵列中。
以后可以进一步在以下方面进行调优，确保程序转换的效率更高：
1）采用多进程调用的方式，以获得更高的并发数量；
2）采用每 10 次或者 100 次提交事务的方式，减少访问磁盘的次数；
3）将 CLOB 和 BLOB 分别放置在不同的表空间上，并且将表空间分布在在多个磁盘上，获得最佳的磁盘访问速度。
欢迎分享，转载请注明来源：内存溢出
微信扫一扫
支付宝扫一扫
评论列表（0条）