如何处理大量数据并发 *** 作

处理大量数据并发 *** 作可以采用如下几种方法:

1.使用缓存：使用程序直接保存到内存中。或者使用缓存框架: 用一个特定的类型值来保存，以区别空数据和未缓存的两种状态。

2.数据库优化：表结构优化SQL语句优化，语法优化和处理逻辑优化分区分表索引优化使用存储过程代替直接 *** 作。

3.分离活跃数据:可以分为活跃用户和不活跃用户。

4.批量读取和延迟修改: 高并发情况可以将多个查询请求合并到一个。高并发且频繁修改的可以暂存缓存中。

5.读写分离: 数据库服务器配置多个，配置主从数据库。写用主数据库，读用从数据库。

6.分布式数据库: 将不同的表存放到不同的数据库中，然后再放到不同的服务器中。

7.NoSql和Hadoop: NoSql，not only SQL。没有关系型数据库那么多限制，比较灵活高效。Hadoop，将一个表中的数据分层多块，保存到多个节点（分布式）。每一块数据都有多个节点保存（集群）。集群可以并行处理相同的数据，还可以保证数据的完整性。

拓展资料:

大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法（抽样调查）这样捷径，而采用所有数据进行分析处理。大数据的5V特点（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性）。

参考资料:网页链接

在并发程序中，由于超时、取消 *** 作或其他一些异常情况，往往需要通知其他goroutine，虽然可以使用channel来处理这些问题，但是会变得非常繁琐，而且不利于多级管理。

go使用Context来做解决方案。

Context接口包含4个方法

emptyCtx其实就是一个int类型的变量，实现了Context接口。

如其名，就是一个没有设置超时时间，不能取消，也不能存储键值对的Context。

emptyCtx用来作为context的根结点。

而我们通常不会直接使用emptyCtx，而是使用emptyCtx实例化的两个变量

valueCtx利用了context类型的变量来表示父节点context，继承了父context的所有信息。

valueCtx携带了一个键值对，实现了Value方法，所以可以在context上获取key对应的值，如果context不存在，会沿着父context向上查找

向context中添加键值对，并不是直接在原context上直接添加，而是创建一个新的valueCtx，将键值对添加在子节点上。

和valueCtx类似，也有父context，

newCancelCtx只是初始化了cancelCtx

propagateCancel建立当前节点与父节点的取消逻辑

1、如果父context已经取消了，就直接返回，因为父节点不可能再被取消了

2、监听信号done，如果接收到了就通知子context取消

3、如果找到父context，就挂在父context上

4、如果没有找到父context，也就是自身是根context，就启动一个goroutine监听信号

而调用的cancel方法，其实就是关闭通道及设置原因

timer声明了一个定时器，用于发送截止时间

而timerCtx.cancel有些不一样，是关闭定时器的。

关于timerCtx还有一个方法

与WithDeadline类似，只不过是创建了一个过期时间的context

---