php 怎么解决 大数据量 插入数据库（1次几千条数据）

如果是用mysql数据库的话，一条语句可以插入几千条语句。类似以下语句：

insert into table_name (field1,field2) values (1,2),(2,3),(3,5),(5,6)

请查看mysql手册。

其他数据库请查阅相应手册。

大数据量快速处理的架构设计

在业务数据的处理过程中，经常会遇到夜间批次处理大量的数据，而且会有时效的要求。特别是当应用系统跑了2年以上时，就会有大表或者特大表的 *** 作了，数据量达到百万甚至上亿。 这时回顾前期的设计，就会发现好多问题。 可能是数据模型设计的时候没有考虑表的分区和及时归档、sql的设计没有考虑索引或全表扫描、数据的处理没有考虑及时的分批切分、并发处理的多线程可配置化等等， 为了以后的设计不要走相同的错路。这里暂时简要总结一下。

1 最初要考虑归档和分区。所有可能的大表设计，都要在最初的时候考虑归档和分区。

数据冲上高水位（HighWaterMark）后，即使有归档也不会降低高水位，性能可能也存在消耗，所以要及时归档转移数据。 最好是设置分区表，这样分区表可以进行及时的truncate或者drop再重新add分区。 可以灵活的控制存储。

2 sql条件精准定位。大的关联sql查询，一定要尽量的精准抽取数据范围，不要模糊抽取过多数据，含好多无用的后面再过滤，这很可能影响数据库的执行计划判断导致性能下降。

3 快速定位数据，分批支持流水并发。大批量数据处理，首先要用最简单的方式找到目标最小集群的数据，从大范围中抽出来，并进行切分。切分的目的是可以使用多线程并发处理数据，并且隔离各分区的数据不会重复，也不能有遗漏，这样并发时不会造成数据干扰。

4 流水线并发处理提升时效。

采用3的切分多批＋多线程并发的方式，就可以针对有多个步骤的业务逻辑处理时，不用瀑布模式等待执行，而是可以流水线样的多条执行，实现了多并发，无时间和空间的浪费。 对于有高时效的任务处理，具有可观的价值。

大数据正在如何改变数据库格局

提及“数据库”，大多数人会想到拥有30多年风光历史的RDBMS。然而，这可能很快就会发生改变。

一大批新的竞争者都在争夺这一块重要市场，他们的方法是多种多样的，却都有一个共同点：极其专注于大数据。推动新的数据迭代衍生品大部分都是基于底层大数据的3V特征：数量，速度和种类。本质上来讲，今天的数据比以往任何时候都要传输更快，体积更大，同时更加多样化。这是一个新的数据世界，换言之，传统的关系数据库管理系统并没有真正为此而设计。“基本上，他们不能扩展到大量，或快速，或不同种类的数据。”一位数据分析、数据科学咨询机构的总裁格雷戈里认为。这就是哈特汉克斯最近发现。截至到2013年左右，营销服务机构使用不同的数据库，包括MicrosoftSQLServer和Oracle真正应用集群（RAC）的组合。“我们注意到，数据随着时间的增长，我们的系统不能足够快速的处理信息”一位科技发展公司的负责人肖恩说到。“如果你不断地购买服务器，你只能继续走到这幺远，我们希望确保自己有向外扩展的平台。”最小化中断是一个重要的目标，Iannuzzi说到，因此“我们不能只是切换到Hadoop。”相反，却选择了拼接机器，基本上把完整的SQL数据库放到目前流行的Hadoop大数据平台之上，并允许现有的应用程序能够与它连接，他认为。哈特汉克斯现在是在执行的初期阶段，但它已经看到了好处，Iannuzzi说，包括提高容错性，高可用性，冗余性，稳定性和“性能全面提升”。一种完美风暴推动了新的数据库技术的出现，IDC公司研究副总裁CarlOlofson说到。首先，“我们正在使用的设备与过去对比，处理大数据集更加快速，灵活性更强”Olofson说。在过去，这样的集合“几乎必须放在旋转磁盘上”，而且数据必须以特定的方式来结构化，他解释说。现在有64位寻址，使得能够设置更大的存储空间以及更快的网络，并能够串联多台计算器充当单个大型数据库。“这些东西在不可用之前开辟了可能性”Olofson说。与此同时，工作负载也发生了变化。10年前的网站主要是静态的，例如，今天我们享受到的网络服务环境和互动式购物体验。反过来，需要新的可扩展性，他说。公司正在利用新的方式来使用数据。虽然传统上我们大部分的精力都放在了对事务处理_销售总额的记录，比如，数据存储在可以用来分析的地方_现在我们做的更多。应用状态管理就是一个例子假设你正在玩一个网络游戏。该技术会记录你与系统的每个会话并连接在一起，以呈现出连续的体验，即使你切换设备或各种移动，不同的服务器都会进行处理，Olofson解释说。数据必须保持连续性，这样企业才可以分析问题，例如“为什么从来没有人穿过水晶厅”。在网络购物方面，为什么对方点击选择颜色后大多数人不会购买某个特殊品牌的鞋子。“以前，我们并没试图解决这些问题，或者我们试图扔进盒子也不太合适”Olofson说。Hadoop是当今新的竞争者中一个重量级的产品。虽然他本身不是一个数据库，它的成长为企业解决大数据扮演关键角色。从本质上讲，Hadoop是一个运行高度并行应用程序的数据中心平台，它有很强的可扩展性。通过允许企业扩展“走出去”的分布方式，而不是通过额外昂贵的服务器“向上”扩展，“它使得我们可以低成本地把一个大的数据集汇总，然后进行分析研究成果”Olofson说。其他新的RDBMS的替代品如NoSQL家族产品，其中包括MongoDB-目前第四大流行数据库管理系统，比照DB引擎和MarkLogic非结构化数据存储服务。“关系型数据库一直是一项伟大的技术持续了30年，但它是建立在不同的时代有不同的技术限制和不同的市场需求，”MarkLogic的执行副总裁乔·产品帕卡说。大数据是不均匀的，他说。许多传统的技术，这仍然是一个基本要求。“想象一下，你的笔记本电脑上唯一的程序是Excel”帕卡说。“设想一下，你要和你的朋友利用网络保持联系_或者你正在写一个合约却不适合放进行和列中。”拼接数据集是特别棘手的“关系型，你把所有这些数据集中在一起前，必须先决定如何去组织所有的列，”他补充说。“我们可以采取任何形式或结构，并立即开始使用它。”NoSQL数据库没有使用关系数据模型，并且它们通常不具有SQL接口。尽管许多的NoSQL存储折中支持速度等其他因素，MarkLogic为企业定身量做，提供更为周全的选择。NoSQL储存市场有相当大的增长，据市场研究媒体，不是每个人都认为这是正确的做法-至少，不是在所有情况下。NoSQL系统“解决了许多问题，他们横向扩展架构，但他们却抛出了SQL，”一位CEO-MonteZweben说。这反过来，又为现有的代码构成问题。SpliceMachine是一家基于Hadoop的实时大数据技术公司，支持SQL事务处理，并针对OLAP和OLAP应用进行实时优化处理。它被称为替代NewSQL的一个例子，另一类预期会在未来几年强劲增长。“我们的理念是保持SQL，但横向扩展架构”Zweben说。“这是新事物，但我们正在努力试图使它让人们不必重写自己的东西。”深度信息科学选择并坚持使用SQL，但需要另一种方法。公司的DeepSQL数据库使用相同的应用程序编程接口（API）和关系模型如MySQL，意味着没有应用变化的需求而使用它。但它以不同的方式处理数据，使用机器学习。DeepSQL可以自动适应使用任何工作负载组合的物理，虚拟或云主机，该公司表示，从而省去了手动优化数据库的需要。该公司的首席战略官ChadJones表示，在业绩大幅增加的同时，也有能力将“规模化”为上千亿的行。一种来自Algebraix数据完全不同的方式，表示已经开发了数据的第一个真正的数学化基础。而计算器硬件需在数学建模前建成，这不是在软件的情况下，Algebraix首席执行官查尔斯银说。“软件，尤其是数据，从未建立在数学的基础上”他说，“软件在很大程度上是语言学的问题。”经过五年的研发，Algebraix创造了所谓的“数据的代数”集合论，“数据的通用语言”Silver说。“大数据肮脏的小秘密是数据仍然放在不与其他数据小仓融合的地方”Silver解释说。“我们已经证明，它都可以用数学方法来表示所有的集成。”配备一个基础的平台，Algebraix现在为企业提供业务分析作为一种服务。改进的性能，容量和速度都符合预期的承诺。时间会告诉我们哪些新的竞争者取得成功，哪些没有，但在此期间，长期的领导者如Oracle不会完全停滞不前。“软件是一个非常时尚行业”安德鲁·门德尔松，甲骨文执行副总裁数据库服务器技术说。“事情经常去从流行到不受欢迎，回再次到流行。”今天的许多创业公司“带回炒冷饭少许抛光或旋转就可以了”他说。“这是一个新一代孩子走出学校和重塑的东西。”SQL是“唯一的语言，可以让业务分析师提出问题并得到答案，他们没有程序员，”门德尔松说。“大市场将始终是关系型。”至于新的数据类型，关系型数据库产品早在上世纪90年代发展为支持非结构化数据，他说。在2013年，甲骨文的同名数据库版本12C增加了支持JSON（JavaScript对象符号）。与其说需要一个不同类型的数据库，它更是一种商业模式的转变，门德尔松说。“云，若是每个人都去，这将破坏这些小家伙”他说。“大家都在云上了，所以在这里有没有地方来放这些小家伙？“他们会去亚马逊的云与亚马逊竞争？”他补充说。“这将是困难的。”甲骨文有“最广泛的云服务”门德尔松说。“在现在的位置，我们感觉良好。”Gartner公司的研究主任里克·格林沃尔德，倾向于采取了类似的观点。“对比传统强大的RDBMS，新的替代品并非功能齐全”格林沃尔德说。“一些使用案例可以与新的竞争者来解决，但不是全部，并非一种技术”。展望未来，格林沃尔德预计，传统的RDBMS供货商感到价格压力越来越大，并为他们的产品增加新的功能。“有些人会自由地带来新的竞争者进入管理自己的整个数据生态系统”他说。至于新的产品，有几个会生存下来，他预测“许多人将被收购或资金耗尽”。今天的新技术并不代表传统的RDBMS的结束，“正在迅速发展自己”IDC的Olofson。赞成这种说法，“RDBMS是需要明确定义的数据_总是会有这样一个角色。”但也会有一些新的竞争者的角色，他说，特别是物联网技术和新兴技术如非易失性内存芯片模块（NVDIMM）占据上风。

关系数据库、非关系型数据库。

1、关系数据库

特点：数据集中控制；减少数据冗余等。

适用范围：对于结构化数据的处理更合适，如学生成绩、地址等，这样的数据一般情况下需要使用结构化的查询。

2、非关系数据库

特点：易扩展；大数据量，高性能；灵活的数据模型等。

使用范围：据模型比较简单；需要灵活性更强的IT系统；对数据库性能要求较高。

扩展资料：

非关系数据库的分类：

1、列存储数据库

这部分数据库通常是用来应对分布式存储的海量数据。键仍然存在，但是它们的特点是指向了多个列。这些列是由列家族来安排的。如：Cassandra， HBase， Riak。

2、文档型数据库

文档型数据库的灵感是来自于Lotus Notes办公软件的，而且它同第一种键值存储相类似。该类型的数据模型是版本化的文档，半结构化的文档以特定的格式存储，比如JSON。文档型数据库可 以看作是键值数据库的升级版，允许之间嵌套键值。而且文档型数据库比键值数据库的查询效率更高。如：CouchDB， MongoDb 国内也有文档型数据库SequoiaDB，已经开源。

参考资料来源：百度百科-数据库

参考资料来源：百度百科-NoSQL

如果你正在负责一个基于SQL Server的项目 或者你刚刚接触SQL Server 你都有可能要面临一些数据库性能的问题 这篇文章会为你提供一些有用的指导（其中大多数也可以用于其它的DBMS）

在这里 我不打算介绍使用SQL Server的窍门 也不能提供一个包治百病的方案 我所做的是总结一些经验 关于如何形成一个好的设计 这些经验来自我过去几年中经受的教训 一直来 我看到许多同样的设计错误被一次又一次的重复

你了解你用的工具吗？

不要轻视这一点 这是我在这篇文章中讲述的最关键的一条 也许你也看到有很多的SQL Server程序员没有掌握全部的T SQL命令和SQL Server提供的那些有用的工具

什么？我要浪费一个月的时间来学习那些我永远也不会用到的SQL命令？？？ 你也许会这样说 对的 你不需要这样做 但是你应该用一个周末浏览所有的T SQL命令 在这里 你的任务是了解 将来 当你设计一个查询时 你会记起来 对了 这里有一个命令可以完全实现我需要的功能 于是 到MSDN查看这个命令的确切语法

不要使用游标

让我再重复一遍 不要使用游标 如果你想破坏整个系统的性能的话 它们倒是你最有效的首选办法 大多数的初学者都使用游标 而没有意识到它们对性能造成的影响 它们占用内存 还用它们那些不可思议的方式锁定表 另外 它们简直就像蜗牛 而最糟糕的是 它们可以使你的DBA所能做的一切性能优化等于没做 不知你是否知道每执行一次FETCH就等于执行一次SELECT命令？这意味着如果你的游标有 条记录 它将执行 次SELECT！如果你使用一组SELECT UPDATE或者DELETE来完成相应的工作 那将有效率的多

初学者一般认为使用游标是一种比较熟悉和舒适的编程方式 可很不幸 这会导致糟糕的性能 显然 SQL的总体目的是你要实现什么 而不是怎样实现

我曾经用T SQL重写了一个基于游标的存储过程 那个表只有 条记录 原来的存储过程用了 分钟才执行完毕 而新的存储过程只用了 秒钟 在这里 我想你应该可以看到一个不称职的程序员究竟在干了什么！！！

我们可以写一个小程序来取得和处理数据并且更新数据库 这样做有时会更有效 记住 对于循环 T SQL无能为力

我再重新提醒一下 使用游标没有好处 除了DBA的工作外 我从来没有看到过使用游标可以有效的完成任何工作

规范化你的数据表

为什么不规范化数据库？大概有两个借口 出于性能的考虑和纯粹因为懒惰 至于第二点 你迟早得为此付出代价 而关于性能的问题 你不需要优化根本就不慢的东西 我经常看到一些程序员 反规范化 数据库 他们的理由是 原来的设计太慢了 可结果却常常是他们让系统更慢了 DBMS被设计用来处理规范数据库的 因此 记住 按照规范化的要求设计数据库

不要使用SELECT

这点不太容易做到 我太了解了 因为我自己就经常这样干 可是 如果在SELECT中指定你所需要的列 那将会带来以下的好处

减少内存耗费和网络的带宽

你可以得到更安全的设计

给查询优化器机会从索引读取所有需要的列

了解你将要对数据进行的 *** 作

为你的数据库创建一个健壮的索引 那可是功德一件 可要做到这一点简直就是一门艺术 每当你为一个表添加一个索引 SELECT会更快了 可INSERT和DELETE却大大的变慢了 因为创建了维护索引需要许多额外的工作 显然 这里问题的关键是 你要对这张表进行什么样的 *** 作 这个问题不太好把握 特别是涉及DELETE和UPDATE时 因为这些语句经常在WHERE部分包含SELECT命令

不要给 性别 列创建索引

首先 我们必须了解索引是如何加速对表的访问的 你可以将索引理解为基于一定的标准上对表进行划分的一种方式 如果你给类似于 性别 这样的列创建了一个索引 你仅仅是将表划分为两部分 男和女 你在处理一个有 条记录的表 这样的划分有什么意义？记住 维护索引是比较费时的 当你设计索引时 请遵循这样的规则 根据列可能包含不同内容的数目从多到少排列 比如 姓名 省份 性别

使用事务

请使用事务 特别是当查询比较耗时 如果系统出现问题 这样做会救你一命的 一般有些经验的程序员都有体会 你经常会碰到一些不可预料的情况会导致存储过程崩溃

小心死锁

按照一定的次序来访问你的表 如果你先锁住表A 再锁住表B 那么在所有的存储过程中都要按照这个顺序来锁定它们 如果你（不经意的）某个存储过程中先锁定表B 再锁定表A 这可能就会导致一个死锁 如果锁定顺序没有被预先详细的设计好 死锁是不太容易被发现的

不要打开大的数据集

在CSDN技术论坛中 :） 一个经常被提出的问题是 我怎样才能迅速的将 条记录添加到ComboBox中？这是不对的 你不能也不需要这样做 很简单 你的用户要浏览 条记录才能找到需要的记录 他一定会诅咒你的 在这里 你需要的是一个更好的UI 你需要为你的用户显示不超过 或 条记录

不要使用服务器端游标

与服务器端游标比起来 客户端游标可以减少服务器和网络的系统开销 并且还减少锁定时间

使用参数查询

有时 我在CSDN技术论坛看到类似这样的问题 SELECT FROM a WHERE a id= A B 因为单引号查询发生异常 我该怎么办？ 而普遍的回答是 用两个单引号代替单引号 这是错误的 这样治标不治本 因为你还会在其他一些字符上遇到这样的问题 更何况这样会导致严重的bug 除此以外 这样做还会使SQL Server的缓冲系统无法发挥应有的作用 使用参数查询 釜底抽薪 这些问题统统不存在了

在程序编码时使用大数据量的数据库

程序员在开发中使用的测试数据库一般数据量都不大 可经常的是最终用户的数据量都很大 我们通常的做法是不对的 原因很简单 现在硬盘不是很贵 可为什么性能问题却要等到已经无可挽回的时候才被注意呢？

不要使用INSERT导入大批的数据

请不要这样做 除非那是必须的 使用UTS或者BCP 这样你可以一举而兼得灵活性和速度

注意超时问题

查询数据库时 一般数据库的缺省都比较小 比如 秒或者 秒 而有些查询运行时间要比这长 特别是当数据库的数据量不断变大时

不要忽略同时修改同一记录的问题

有时候 两个用户会同时修改同一记录 这样 后一个修改者修改了前一个修改者的 *** 作 某些更新就会丢失 处理这种情况不是很难 创建一个timestamp字段 在写入前检查它 如果允许 就合并修改 如果存在冲突 提示用户

在细节表中插入纪录时 不要在主表执行SELECT MAX(ID)

这是一个普遍的错误 当两个用户在同一时间插入数据时 这会导致错误 你可以使用SCOPE_IDENTITY IDENT_CURRENT和@@IDENTITY 如果可能 不要使用@@IDENTITY 因为在有触发器的情况下 它会引起一些问题（详见这里的讨论）

避免将列设为NULLable

如果可能的话 你应该避免将列设为NULLable 系统会为NULLable列的每一行分配一个额外的字节 查询时会带来更多的系统开销 另外 将列设为NULLable使编码变得复杂 因为每一次访问这些列时都必须先进行检查

我并不是说NULLS是麻烦的根源 尽管有些人这样认为 我认为如果你的业务规则中允许 空数据 那么 将列设为NULLable有时会发挥很好的作用 但是 如果在类似下面的情况中使用NULLable 那简直就是自讨苦吃

CustomerName CustomerAddress CustomerEmail CustomerName CustomerAddress CustomerEmail CustomerName CustomerAddress CustomerEmail

如果出现这种情况 你需要规范化你的表了

尽量不要使用TEXT数据类型

除非你使用TEXT处理一个很大的数据 否则不要使用它 因为它不易于查询 速度慢 用的不好还会浪费大量的空间 一般的 VARCHAR可以更好的处理你的数据

尽量不要使用临时表

尽量不要使用临时表 除非你必须这样做 一般使用子查询可以代替临时表 使用临时表会带来系统开销 如果你是用 进行编程 它还会给你带来很大的麻烦 因为 使用数据库连接池而临时表却自始至终都存在 SQL Server提供了一些替代方案 比如Table数据类型

学会分析查询

SQL Server查询分析器是你的好伙伴 通过它你可以了解查询和索引是如何影响性能的

使用参照完整性

lishixinzhi/Article/program/SQLServer/201311/22158

这个问题是这样的：

首先你要明确你的插入是正常业务需求么？如果是，那么只能接受这样的数据插入量。

其次你说数据库存不下了 那么你可以让你的数据库上限变大 这个你可以在数据库里面设置的 里面有个数据库文件属性 maxsize

最后有个方法可以使用，如果你的历史数据不会对目前业务造成很大影响 可以考虑归档处理 定时将不用的数据移入历史表 或者另外一个数据库。

注意平时对数据库的维护 定期整理索引碎片

以上就是关于php 怎么解决 大数据量 插入数据库（1次几千条数据）全部的内容，包括:php 怎么解决 大数据量 插入数据库（1次几千条数据）、大数据量快速处理的架构设计、大数据正在如何改变数据库格局等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！