如何将WinCC归档的历史数据导出到EXCEL CSV文件

WinCC 归档的历史数据可以通过“在线趋势”控件的工具按钮，或Excel模板文件以及使用“SQL Server Import/Export”向导，通过 WinCC OLE DB 提供程序来访问 WinCC 数据库将WinCC 归档的历史数据导出到EXCEL CSV文件

数据库的开发对于后台编程程序员来说是必备能力之一了，而今天我们就一起来了解一下，关于数据库开发的设计规范都有哪些类型，山西北大青鸟>

你每天作一次ONLINE+REDO LOG备份，一次REDO LOG备份，备份的方式选择CDS，那么就自动被删 除了。如果备份REDO LOG时，选择SD的方式，备份一次后，这些归档日志也被删除了，不过SAP不 建议这么作，如果备份介质有问题，就没办法恢复了。

数据库的开发对于后台编程程序员来说是必备能力之一了，而今天我们就一起来了解一下，关于数据库开发的设计规范都有哪些类型，昌平北大青鸟希望通过对本文的阅读，大家对于数据库开发有更多的了解。

一、数据库命令规范

所有数据库对象名称必须使用小写字母并用下划线分割

所有数据库对象名称禁止使用mysql保留关键字(如果表名中包含关键字查询时，需要将其用单引号括起来)

数据库对象的命名要能做到见名识意，并且后不要超过32个字符

临时库表必须以tmp_为前缀并以日期为后缀，备份表必须以bak_为前缀并以日期(时间戳)为后缀

所有存储相同数据的列名和列类型必须一致(一般作为关联列，如果查询时关联列类型不一致会自动进行数据类型隐式转换，会造成列上的索引失效，导致查询效率降低)

二、数据库基本设计规范

1、所有表必须使用Innodb存储引擎

没有特殊要求(即Innodb无法满足的功能如：列存储，存储空间数据等)的情况下，所有表必须使用Innodb存储引擎(mysql55之前默认使用Myisam，56以后默认的为Innodb)Innodb支持事务，支持行级锁，更好的恢复性，高并发下性能更好

2、数据库和表的字符集统一使用UTF8

兼容性更好，统一字符集可以避免由于字符集转换产生的乱码，不同的字符集进行比较前需要进行转换会造成索引失效

3、所有表和字段都需要添加注释

使用comment从句添加表和列的备注从一开始就进行数据字典的维护

4、尽量控制单表数据量的大小，建议控制在500万以内

500万并不是MySQL数据库的限制，过大会造成修改表结构，备份，恢复都会有很大的问题

可以用历史数据归档(应用于日志数据)，分库分表(应用于业务数据)等手段来控制数据量大小

5、谨慎使用MySQL分区表

分区表在物理上表现为多个文件，在逻辑上表现为一个表谨慎选择分区键，跨分区查询效率可能更低建议采用物理分表的方式管理大数据

6、尽量做到冷热数据分离，减小表的宽度

MySQL限制每个表多存储4096列，并且每一行数据的大小不能超过65535字节减少磁盘IO,保证热数据的内存缓存命中率(表越宽，把表装载进内存缓冲池时所占用的内存也就越大,也会消耗更多的IO)更有效的利用缓存，避免读入无用的冷数据经常一起使用的列放到一个表中(避免更多的关联 *** 作)

一、大数据的陷阱作文

李娜再度夺得大满贯，超越了张德培的华人大满贯纪录，非举国体制下的奇迹造就了举国的愉悦。

在总结李娜成功因素的时候，也再次看到了这样的言论：是大数据起到了重要的作用。但这次李娜夺冠，最靠谱的解释就是李娜在卡洛斯的帮助下大大提升了心理层面的战斗力。

在技术层面领先的前提下，李娜在整场比赛中克服了节奏问题，她具备了一颗冠军的心脏。2012年9月6日，代表亚洲网球至高水平的中国选手李娜在美国迎战名将小威廉姆斯。

当时，IBM公司在综合了美网过去8年的全部比赛数据之后，为参赛球员制定了“Keys to the march”的比赛制胜策略。李娜一方获得赢球的关键包括3个指标：1一发得分率超过69%;24-9拍相持中得分利率要超过48%:3发球局30-30或40-40时得分率要超过67%。

比赛结果是，李娜溃败。比赛结束后，IBM高调地宣布李娜仅仅完成了三项制胜策略中的项，而小威廉姆斯则完成了自己三项制胜策略中的两项。

于是，很多人就顺着IBM的思路问，李娜为什么不照着BM的策略去打球？其实，当当事人的主观愿望不积极的时候，大数据对他们来说不过是噪音而已。同样，数据也会因为主观意愿具有欺骗性。

我们很多时候都会被误导，认为大数据的作用是让历史提示未来。其实不然。

在网球这样的领域里，历史数据甚至常常会成为陷阱。有意思的是，在另一场女子网球比赛中，一位球员做到了IBM为其制定的三项指标中的两个，她却失败了。

而胜利的一方，只完成了一个指标。

二、大数据时代发展历程是什么

可按照时间点划分大数据的发展历程。

大数据时代发展的具体历程如下：2005年Hadoop项目诞生。 Hadoop其最初只是雅虎公司用来解决网页搜索问题的一个项目，后来因其技术的高效性，被Apache Software Foundation公司引入并成为开源应用。

Hadoop本身不是一个产品，而是由多个软件产品组成的一个生态系统，这些软件产品共同实现全面功能和灵活的大数据分析。从技术上看，Hadoop由两项关键服务构成：采用Hadoop分布式文件系统（HDFS）的可靠数据存储服务，以及利用一种叫做MapReduce技术的高性能并行数据处理服务。

这两项服务的共同目标是，提供一个使对结构化和复杂数据的快速、可靠分析变为现实的基础。2008年末，“大数据”得到部分美国知名计算机科学研究人员的认可，业界组织计算社区联盟 （puting munity Consortium），发表了一份有影响力的白皮书《大数据计算：在商务、科学和社会领域创建革命性突破》。

它使人们的思维不仅局限于数据处理的机器，并提出：大数据真正重要的是新用途和新见解，而非数据本身。此组织可以说是最早提出大数据概念的机构。

2009年印度 建立了用于身份识别管理的生物识别数据库，联合国全球脉冲项目已研究了对如何利用手机和社交网站的数据源来分析预测从螺旋价格到疾病爆发之类的问题。同年，美国 通过启动://Datagov网站的方式进一步开放了数据的大门，这个网站向公众提供各种各样的 数据。

该网站的超过445万量数据集被用于保证一些网站和智能手机应用程序来跟踪从航班到产品召回再到特定区域内失业率的信息，这一行动激发了从肯尼亚到英国范围内的 们相继推出类似举措。2009年，欧洲一些领先的研究型图书馆和科技信息研究机构建立了伙伴关系致力于改善在互联网上获取科学数据的简易性。

2010年2月，肯尼斯ž库克尔在《经济学人》上发表了长达14页的大数据专题报告《数据，无所不在的数据》。库克尔在报告中提到：“世界上有着无法想象的巨量数字信息，并以极快的速度增长。

从经济界到科学界，从 部门到艺术领域，很多方面都已经感受到了这种巨量信息的影响。科学家和计算机工程师已经为这个现象创造了一个新词汇：“大数据”。

库克尔也因此成为最早洞见大数据时代趋势的数据科学家之一。2011年2月，IBM的沃森超级计算机每秒可扫描并分析4TB（约2亿页文字量）的数据量，并在美国著名智力竞赛电视节目《危险边缘》“Jeopardy”上击败两名人类选手而夺冠。

后来 认为这一刻为一个“大数据计算的胜利。” 相继在同年5月，全球知名咨询公司麦肯锡（McKinsey&pany）肯锡全球研究院（MGI）发布了一份报告——《大数据：创新、竞争和生产力的下一个新领域》，大数据开始备受关注，这也是专业机构第一次全方面的介绍和展望大数据。

报告指出，大数据已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。

报告还提到，“大数据”源于数据生产和收集的能力和速度的大幅提升——由于越来越多的人、设备和传感器通过数字网络连接起来，产生、传送、分享和访问数据的能力也得到彻底变革。2011年12 月，工信部发布的物联网十二五规划上，把信息处理技术作为4 项关键技术创新工程之一被提出来，其中包括了海量数据存储、数据挖掘、图像视频智能分析，这都是大数据的重要组成部分。

2012年1月份，瑞士达沃斯召开的世界经济论坛上，大数据是主题之一，会上发布的报告《大数据，大影响》（Big Data, Big Impact） 宣称，数据已经成为一种新的经济资产类别，就像货币或黄金一样。2012年3月，美国奥巴马 在白宫网站发布了《大数据研究和发展倡议》，这一倡议标志着大数据已经成为重要的时代特征。

2012年3月22日，奥巴马 宣布2亿美元投资大数据领域，是大数据技术从商业行为上升到国家科技战略的分水岭，在次日的电话会议中， 对数据的定义“未来的新石油”，大数据技术领域的竞争，事关国家安全和未来。并表示，国家层面的竞争力将部分体现为一国拥有数据的规模、活性以及解释、运用的能力；国家数字 体现对数据的占有和控制。

数字 将是继边防、海防、空防之后，另一个大国博弈的空间。2012年4月，美国软件公司Splunk于19日在纳斯达克成功上市，成为第一家上市的大数据处理公司。

鉴于美国经济持续低靡、股市持续震荡的大背景，Splunk首日的突出交易表现尤其令人们印象深刻，首日即暴涨了一倍多。Splunk是一家领先的提供大数据监测和分析服务的软件提供商，成立于2003年。

Splunk成功上市促进了资本市场对大数据的关注，同时也促使IT厂商加快大数据布局。2012年7月，联合国在纽约发布了一份关于大数据政务的白皮书，总结了各国 如何利用大数据更好地服务和保护人民。

这份白皮书举例说明在一个数据生态系统中，个人、公共部门和私人部门各自的角色、动机和需求：例如通过对价格关注和更好服务的渴望，个人提供数据和众包信息，并对隐。

三、大数据时代的产生背景

进入2012年，大数据（big data）一词越来越多地被提及，人们用它来描述和定义信息爆炸时代产生的海量数据，并命名与之相关的技术发展与创新。

它已经上过《 》《华尔街日报》的专栏封面，进入美国白宫官网的新闻，现身在国内一些互联网主题的讲座沙龙中，甚至被嗅觉灵敏的国金证券、国泰君安、银河证券等写进了投资推荐报告。 数据正在迅速膨胀并变大，它决定着企业的未来发展，虽然很多企业可能并没有意识到数据爆炸性增长带来问题的隐患，但是随着时间的推移，人们将越来越多的意识到数据对企业的重要性。

正如《 》2012年2月的一篇专栏中所称，“大数据”时代已经降临，在商业、经济及其他领域中，决策将日益基于数据和分析而作出，而并非基于经验和直觉。哈佛大学社会学教授加里·金说：“这是一场革命，庞大的数据资源使得各个领域开始了量化进程，无论学术界、商界还是 ，所有领域都将开始这种进程。”

。

四、大数据时代是什么意思

大数据时代：最早提出大数据时代到来的是全球知名咨询公司麦肯锡， 大数据在物理学、生物学、环境生态学等领域以及军事、金融、通讯等行业存在已有时日，却因为近年来互联网和信息行业的发展而引起人们关注。

大数据提出的背景：进入2012年，大数据（big data）一词越来越多地被提及，人们用它来描述和定义信息爆炸时代产生的海量数据，并命名与之相关的技术发展与创新。它已经上过《 》《华尔街日报》的专栏封面，进入美国白宫官网的新闻，现身在国内一些互联网主题的讲座沙龙中，甚至被嗅觉灵敏的国金证券、国泰君安、银河证券等写进了投资推荐报告。

数据正在迅速膨胀并变大，它决定着企业的未来发展，虽然很多企业可能并没有意识到数据爆炸性增长带来问题的隐患，但是随着时间的推移，人们将越来越多的意识到数据对企业的重要性。正如《 》2012年2月的一篇专栏中所称，“大数据”时代已经降临，在商业、经济及其他领域中，决策将日益基于数据和分析而作出，而并非基于经验和直觉。

哈佛大学社会学教授加里·金说：“这是一场革命，庞大的数据资源使得各个领域开始了量化进程，无论学术界、商界还是 ，所有领域都将开始这种进程。” 扩展资料 大数据影响 现在的社会是一个高速发展的社会，科技发达，信息流通，人们之间的交流越来越密切，生活也越来越方便，大数据就是这个高科技时代的产物。

随着云时代的来临，大数据（Big data）也吸引了越来越多的关注。大数据（Big data）通常用来形容一个公司创造的大量非结构化和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。

大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。 在现今的社会，大数据的应用越来越彰显他的优势，它占领的领域也越来越大，电子商务、O2O、物流配送等，各种利用大数据进行发展的领域正在协助企业不断地发展新业务，创新运营模式。

有了大数据这个概念，对于消费者行为的判断，产品销售量的预测，精确的营销范围以及存货的补给已经得到全面的改善与优化。“大数据”在互联网行业指的是这样一种现象：互联网公司在日常运营中生成、累积的用户网络行为数据。

这些数据的规模是如此庞大，以至于不能用G或T来衡量。大数据到底有多大？一组名为“互联网上一天”的数据告诉我们，一天之中，互联网产生的全部内容可以刻满168亿张DVD；发出的邮件有2940亿封之多（相当于美国两年的纸质信件数量）。

发出的社区帖子达200万个（相当于《时代》杂志770年的文字量）；卖出的手机为378万台，高于全球每天出生的婴儿数量371万…… 截止到2012年，数据量已经从TB(1024GB=1TB)级别跃升到PB(1024TB=1PB) EB(1024PB=1EB)乃至ZB(1024EB=1ZB)级别。国际数据公司（IDC）的研究结果表明，2008年全球产生的数据量为049ZB,2009年的数据量为08ZB,2010年增长为12ZB,2011年的数量更是高达182ZB，相当于全球每人产生200GB以上的数据。

而到2012年为止，人类生产的所有印刷材料的数据量是200PB，全人类历史上说过的所有话的数据量大约是5EB。IBM的研究称，整个人类文明所获得的全部数据中，有90%是过去两年内产生的。

而到了2020年，全世界所产生的数据规模将达到今天的44倍。 每一天，全世界会上传超过5亿张，每分钟就有20小时时长的视频被分享。

然而，即使是人们每天创造的全部信息——包括语音通话、电子邮件和信息在内的各种通信，以及上传的全部、视频与音乐，其信息量也无法匹及每一天所创造出的关于人们自身的数字信息量。这样的趋势会持续下去。

我们现在还处于所谓“物联网”的最初级阶段，而随着技术成熟，我们的设备、交通工具和迅速发展的“可穿戴”科技将能互相连接与沟通。科技的进步已经使创造、捕捉和管理信息的成本降至2005年的六分之一，而从2005年起，用在硬件、软件、人才及服务之上的商业投资也增长了整整50%，达到了4000亿美元。

大数据的精髓 大数据带给我们的三个颠覆性观念转变：是全部数据，而不是随机采样；是大体方向，而不是精确制导；是相关关系，而不是因果关系。A不是随机样本，而是全体数据：在大数据时代，我们可以分析更多的数据，有时候甚至可以处理和某个特别现象相关的所有数据，而不再依赖于随机采样（随机采样，以前我们通常把这看成是理所应当的限制，但高性能的数字技术让我们意识到，这其实是一种人为限制）； B不是精确性，而是混杂性：研究数据如此之多，以至于我们不再热衷于追求精确度；之前需要分析的数据很少，所以我们必须尽可能精确地量化我们的记录，随着规模的扩大，对精确度的痴迷将减弱；拥有了大数据，我们不再需要对一个现象刨根问底，只要掌握了大体的发展方向即可。

适当忽略微观层面上的精确度，会让我们在宏观层面拥有更好的洞察力； C不是因果关系，而是相关关系：我们不再热衷于找因果关系，寻找因果关系是人类长久以来的习惯，在大。

五、为什么大数据如此重要

大数据是一种现代云基础架构，它包含了多种与其他人连接和共享信息的方法。它推动了“物联网”的发展，如通过社交网站连接人、通过共享朋友或网络来寻找人们之间互相认识的可能性。大数据的背后运行着人工智能，而它对于大多数人而言是完全透明的，人们不知道背后有这样的技术。大数据位于人们日常使用的智能手机之后，然后人们通过它给移动互联网贡献信息，即使他们并没有意识到这一点。

为什么大数据如此重要？

第一，对大数据的处理分析正成为新一代信息技术融合应用的结点。移动互联网、物联网、社交网络、数字家庭、电子商务等是新一代信息技术的应用形态，这些应用不断产生大数据。云计算为这些海量、多样化的大数据提供存储和运算平台。通过对不同来源数据的管理、处理、分析与优化，将结果反馈到上述应用中，将创造出巨大的经济和社会价值。

第二，大数据是信息产业持续高速增长的新引擎。面向大数据市场的新技术、新产品、新服务、新业态会不断涌现。在硬件与集成设备领域，大数据将对芯片、存储产业产生重要影响，还将催生一体化数据存储处理服务器、内存计算等市场。在软件与服务领域，大数据将引发数据快速处理分析、数据挖掘技术和软件产品的发展。

第三，大数据利用将成为提高核心竞争力的关键因素。各行各业的决策正在从“业务驱动” 转变“数据驱动”。

总结

在大数据时代到来的时候，要用大数据的思维去发掘大数据的潜在价值。大数据的意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。从前我们所了解的数据是冷冰冰的、死气沉沉的，被存到冷备份默默地等着人拿出来用，我们对待数据的感觉十分消极，要先想清楚其用处才开始分析应用。现在，数据时代来临了，人们正在试图点燃数据，使其变热，赋予生命。所谓“活数据”，是动态的数据，流通的数据，因互动而产生，因产生而互动，是自然演化的数据，要用大数据的思维去考虑这些数据怎样才能带来效益。未来大数据的发展前景非常好，与大数据相关的职业比如数据挖掘师，数据分析师等必定会有广阔的发展空间。

六、如何实现大数据量数据库的历史数据归档

这个问题是这样的：

首先你要明确你的插入是正常业务需求么？如果是，那么只能接受这样的数据插入量。

其次你说数据库存不下了 那么你可以让你的数据库上限变大 这个你可以在数据库里面设置的 里面有个数据库文件属性 maxsize

最后有个方法可以使用，如果你的历史数据不会对目前业务造成很大影响 可以考虑归档处理 定时将不用的数据移入历史表 或者另外一个数据库。

注意平时对数据库的维护 定期整理索引碎片

归档数据库的备份可以在Taglogging里面设置，如下图：

Wincc的归档时根据设置的大小或者时间进行片段保存的，如果要删除以前的历史归档，可以直接删除保存的归档片段（一般片段保存在项目中），如下：

但如果你要删除某个数据的一个时间段的数据的话西门子好像没有给出这个权限对数据库进行 *** 作。要是想直接删除一个变量的归档可以把这个变量从归档中剔除。

如何优化 *** 作大数据量数据库

下面以关系数据库系统Informix为例，介绍改善用户查询计划的方法。

1．合理使用索引

索引是数据库中重要的数据结构，它的根本目的就是为了提高查询效率。现在大多数的数据库产品都采用IBM最先提出的ISAM索引结构。索引的使用要恰到好处，其使用原则如下：

●在经常进行连接，但是没有指定为外键的列上建立索引，而不经常连接的字段则由优化器自动生成索引。

●在频繁进行排序或分组（即进行group by或order by *** 作）的列上建立索引。

●在条件表达式中经常用到的不同值较多的列上建立检索，在不同值少的列上不要建立索引。比如在雇员表的“性别”列上只有“男”与“女”两个不同值，因此就无必要建立索引。如果建立索引不但不会提高查询效率，反而会严重降低更新速度。

●如果待排序的列有多个，可以在这些列上建立复合索引（pound index）。

●使用系统工具。如Informix数据库有一个tbcheck工具，可以在可疑的索引上进行检查。在一些数据库服务器上，索引可能失效或者因为频繁 *** 作而使得读取效率降低，如果一个使用索引的查询不明不白地慢下来，可以试着用tbcheck工具检查索引的完整性，必要时进行修复。另外，当数据库表更新大量数据后，删除并重建索引可以提高查询速度。

2．避免或简化排序

应当简化或避免对大型表进行重复的排序。当能够利用索引自动以适当的次序产生输出时，优化器就避免了排序的步骤。以下是一些影响因素：

●索引中不包括一个或几个待排序的列；

●group by或order by子句中列的次序与索引的次序不一样；

●排序的列来自不同的表。

为了避免不必要的排序，就要正确地增建索引，合理地合并数据库表（尽管有时可能影响表的规范化，但相对于效率的提高是值得的）。如果排序不可避免，那么应当试图简化它，如缩小排序的列的范围等。

3．消除对大型表行数据的顺序存取

在嵌套查询中，对表的顺序存取对查询效率可能产生致命的影响。比如采用顺序存取策略，一个嵌套3层的查询，如果每层都查询1000行，那么这个查询就要查询10亿行数据。避免这种情况的主要方法就是对连接的列进行索引。例如，两个表：学生表（学号、姓名、年龄……）和选课表（学号、课程号、成绩）。如果两个表要做连接，就要在“学号”这个连接字段上建立索引。

还可以使用并集来避免顺序存取。尽管在所有的检查列上都有索引，但某些形式的where子句强迫优化器使用顺序存取。下面的查询将强迫对orders表执行顺序 *** 作：

SELECT ＊ FROM orders WHERE (customer_num=104 AND order_num>1001) OR order_num=1008

虽然在customer_num和order_num上建有索引，但是在上面的语句中优化器还是使用顺序存取路径扫描整个表。因为这个语句要检索的是分离的行的 ，所以应该改为如下语句：

SELECT ＊ FROM orders WHERE customer_num=104 AND order_num>1001

UNION

SELECT ＊ FROM orders WHERE order_num=1008

这样就能利用索引路径处理查询。

4．避免相关子查询

一个列的标签同时在主查询和where子句中的查询中出现，那么很可能当主查询中的列值改变之后，子查询必须重新查询一次。查询嵌套层次越多，效率越低，因此应当尽量避免子查询。如果子查询不可避免，那么要在子查询中过滤掉尽可能多的行。

5．避免困难的正规表达式

MATCHES和LIKE关键字支持通配符匹配，技术上叫正规表达式。但这种匹配特别耗费时间。例如：SELECT ＊ FROM customer WHERE zipcode LIKE “98_ _ _”

即使在zipcode字段上建立了索引，在这种情况下也还是采用顺序扫描的方式。如果把语句改为SELECT ＊ FROM customer WHERE zipcode >“98000”，在执行查询时就会利用索引来查询，显然会大大提高速度。

另外，还要避免非开始的子串。例如语句：SELECT ＊ FROM customer WHERE zipcode[2，3]>“80”，在where子句中采用了非开始子串，因而这个语句也不会使用索引。

6．使用临时表加速查询

把表的一个子集进行排序并创建临时表，有时能加速查询。它有助于避免多重排序 *** 作，而且在其他方面还能简化优化器的工作。例如：

SELECT custname，rcvblesbalance，……other columns

FROM cust，rcvbles

WHERE custcustomer_id = rcvlbescustomer_id

AND rcvbllsbalance>0

AND custpostcode>“98000”

ORDER BY custname

如果这个查询要被执行多次而不止一次，可以把所有未付款的客户找出来放在一个临时文件中，并按客户的名字进行排序：

SELECT custname，rcvblesbalance，……other columns

FROM cust，rcvbles

WHERE custcustomer_id = rcvlbescustomer_id

AND rcvbllsbalance>0

ORDER BY custname

INTO TEMP cust_with_balance

然后以下面的方式在临时表中查询：

SELECT ＊ FROM cust_with_balance

WHERE postcode>“98000”

临时表中的行要比主表中的行少，而且物理顺序就是所要求的顺序，减少了磁盘I/O，所以查询工作量可以得到大幅减少。

注意：临时表创建后不会反映主表的修改。在主表中数据频繁修改的情况下，注意不要丢失数据。

7．用排序来取代非顺序存取

非顺序磁盘存取是最慢的 *** 作，表现在磁盘存取臂的来回移动。SQL语句隐藏了这一情况，使得我们在写应用程序时很容易写出要求存取大量非顺序页的查询。

有些时候，用数据库的排序能力来替代非顺序的存取能改进查询。

实例分析

下面我们举一个制造公司的例子来说明如何进行查询优化。制造公司数据库中包括3个表，模式如下所示：

1．part表

零件号零件描述其他列

（part_num）（part_desc）（other column）

102，032Seageat 30G disk……

500，049Novel 10M neork card……

……

2．vendor表

厂商号厂商名其他列

（vendor _num）（vendor_name） （other column）

910，257Seageat Corp……

523，045IBM Corp……

……

3．parven表

零件号厂商号零件数量

（part_num）（vendor_num）（part_amount）

102，032910，2573,450,000

234，423321，0014，000，000

……

下面的查询将在这些表上定期运行，并产生关于所有零件数量的报表：

SELECT part_desc，vendor_name，part_amount

FROM part，vendor，parven

WHERE partpart_num=parvenpart_num

AND parvenvendor_num = vendorvendor_num

ORDER BY partpart_num

如果不建立索引，上述查询代码的开销将十分巨大。为此，我们在零件号和厂商号上建立索引。索引的建立避免了在嵌套中反复扫描。关于表与索引的统计信息如下：

表行尺寸行数量每页行数量数据页数量

（table）(row size)（Row count）（Rows/Pages）（Data Pages）

part15010，00025400

Vendor1501，000 2540

Parven13 15，000300 50

索引键尺寸每页键数量页面数量

（Indexes）(Key Size)（Keys/Page)(Leaf Pages）

part450020

Vendor45002

Parven825060

看起来是个相对简单的3表连接，但是其查询开销是很大的。通过查看系统表可以看到，在part_num上和vendor_num上有簇索引，因此索引是按照物理顺序存放的。parven表没有特定的存放次序。这些表的大小说明从缓冲页中非顺序存取的成功率很小。此语句的优化查询规划是：首先从part中顺序读取400页，然后再对parven表非顺序存取1万次，每次2页（一个索引页、一个数据页），总计2万个磁盘页，最后对vendor表非顺序存取15万次，合3万个磁盘页。可以看出在这个索引好的连接上花费的磁盘存取为504万次。

hibernate如何优化大数据量 *** 作？

建议你直接用Jdbc好了，用batch，这样是最快的。

如何实现大数据量数据库的历史数据归档

打开数据库

conOpen();

读取数据

OdbcDataReader reader = cmdExecuteReader();

把数据加载到临时表

dtLoad(reader);

在使用完毕之后，一定要关闭，要不然会出问题

readerClose();

这个问题是这样的：

首先你要明确你的插入是正常业务需求么？如果是，那么只能接受这样的数据插入量。

其次你说数据库存不下了 那么你可以让你的数据库上限变大 这个你可以在数据库里面设置的 里面有个数据库文件属性 maxsize

最后有个方法可以使用，如果你的历史数据不会对目前业务造成很大影响 可以考虑归档处理 定时将不用的数据移入历史表 或者另外一个数据库。

注意平时对数据库的维护 定期整理索引碎片

时间维度分区表，然后定情按照规则将属于历史的分区数据迁移到，历史库上，写个存储自动维护分区表。

如何用java jdbc 向数据库表插入大数据量

一次性插入大量数据，只能使用循环，

如：游标，while 循环语句

下面介绍While 循环插入数据，

SQL 代码如下：

IF OBJECT_ID('dboNums') IS NOT NULL

DROP TABLE dboNums;

GO

CREATE TABLE dboNums(n INT NOT NULL PRIMARY KEY);

DECLARE @max AS INT, @rc AS INT;

SET @max = 5000000;

SET @rc = 1;

INSERT INTO Nums VALUES(1);

WHILE @rc 2 <= @max

BEGIN

INSERT INTO dboNums SELECT n + @rc FROM dboNums;

SET @rc = @rc 2;

END

INSERT INTO dboNums SELECT n + @rc FROM dboNums WHERE n + @rc <= @max;

--以上函数取自Inside SQL Server 2005: T-SQL Query一书。

INSERT dboSample SELECT n, RAND(CAST(NEWID() AS BINARY(16))) FROM Nums

php 怎么解决 大数据量 插入数据库

ini_set('max_execution_time','0');

$pdo = new PDO("mysql:host=localhost;dbname=test","root","123456");

$sql = "insert into test(name,age,state,created_time) values";

for($i=0; $i<100000; $i++){

$sql ="('zhangsan',21,1,'2015-09-17')";

}

$sql = substr($sql,0,strlen($sql)-1);

var_dump($sql);

if($pdo -> exec($sql)){

echo "插入成功！";

echo $pdo -> lastinsertid();

}

试试吧。10万条1分钟多，我觉得还行

请教如何通过WCF传输大数据量数据

就是直接把DataSet 类型作为参数直接传递给服务端

WCF默认支持这么做，直接传Datatable不行。

你看一下 “服务引用设置”中你选的 类型是什么，我选的是SystemArray

字典 类型是默认第一项 SystemCollectionsGenericDictionary

又是一个把自己架在火上烤的需求啊，

如果不考虑传输因素，可以调整wcf配置，提升传递的容量，如果是对象传递可能还要调整对象层次的深度

以上就是关于如何将WinCC归档的历史数据导出到EXCEL CSV文件全部的内容，包括:如何将WinCC归档的历史数据导出到EXCEL CSV文件、北大青鸟java培训：数据库设计需要遵守的设计规范、以前的数据库归档文件是否可以删除了!等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！