- 数据库中join可以替换成子查询
- 修改缺省值：alter table 表名 alter column 字段名 set default 默认值
- 全文索引：select *from table where mactch(列名) against(‘关键字’)
- 关系型数据库中，用来表示实体间联系的是二维表
- mysql的几种语言：
- 数据查询语言（DQL）查询表数据
- 数据 *** 作语言（DML）修改表数据
- 数据控制语言（DCL）管理权限
- 数据定义语言（DDL）修改表结构
- 事务处理语言（TPL）处理事务
- stuff（原字符，开始位置，删除长度，插入字符）
-
find -name ‘abc’ ：寻找文件夹下名字为abc的文件
-
grep -ri ‘abc’:匹配二进制文件里含有abc的文件
-
权限：-rwx–r-wx
0位：文件类型
1-3位：所有者拥有该文件的权限（r：可读，w：可写，x：可执行）
4-6位：所属组（同用户组的）拥有该文件的权限
7-9位：确定其他用户拥有该文件的权限
-
用户管理相关的配置文件：
/etc/passwd:存放用户的UID name密码过期时间，修改时间等等
/etc/shadow:存放密码密文
/ect/group:存放用户所属组的情况
-
可以重启的命令：
- shutdown -r now
- reboot
- init6
-
top：查看内存
-
查看磁盘存储情况:df -h
-
查看磁盘IO读写情况：iotop
-
查看端口占用情况：netstat -tunlp|grep 端口号
-
查看进程：ps aux
序列化和反序列化：
序列化：就是把内存中的对象，转换成字节序列以便于存储（持久化）和网络传输
反序列化：将收到的字节序列或者磁盘的持久化存储数据，转换成内存中的对象
mapreduce过程:-
分片、格式化数据源：
将文件进行拆分，每一片大小为128M，每一片对应一个map任务，每一个任务会执行一个自定义的map（）函数，然后将分好的分片格式化成键值对形式的数据
-
执行MapTask：
每个Map任务都有一个内存缓冲区（缓冲区大小为100M），Map任务处理的中间结果，会写入内存缓冲区中，写入缓冲区的数据达到80%就会将溢出数据写入磁盘里，溢写过程中，MapReduce框架会对Key进行排序，如果中间结果比较大，会形成多个溢写文件，最后的缓冲区数据也会全部写入磁盘形成一个溢写文件，如果是多个溢写文件，最后将合并所有的溢写文件为一个文件
-
执行Shuffle过程
Shuffle会将MapTask输出的处理结果数据，分发给ReduceTask，并在分发的过程中，对数据按Key进行分区和排序
-
执行ReduceTask
输入ReduceTask的数据流是
-
写入文件
MapReduce框架会自动把ReduceTask生成
shuffle在map阶段也有，reduce阶段也有
从map产生输出到reduce消化输入的过程
分为map阶段和shuffle阶段：
map阶段：
- 每个分区会让一个map（）函数来处理，map函数产生输出时，并不是简单的把数据写到磁盘，因为频繁的磁盘 *** 作会导致性能严重下降，它的处理过程是把数据先写到圆形缓冲区里，并做一些预排序，以提高效率
- 当超过缓冲区的80%后，会启动一个后台线程，把缓冲区中的内容写到磁盘上
- 写到磁盘前，线程首先根据最终要传递到的Reduce任务把数据划分成相应的分区，在每个分区中，后台线程按Key排序（快速排序）,如果有一个Conmbiner，便会在排序后的输出上运行
- 一旦内存缓冲区达到溢出写的阈值，就会创建一个溢出写文件，因此在 Map 任务完成其最后一个输出记录后，便会有多个溢出写文件，在map任务完成前，溢出写文件被并合成一个索引文件和数据文件（多路归并排序）
- 只要其中一个 Map 任务完成，Reduce 任务就会开始复制它的输出（Copy 阶段)。
- Map 任务的输出文件放置在运行 Map 任务的 TaskTracker 的本地磁盘上，它是运行 Reduce 任务的 TaskTracker 所需要的输入数据。
reduce阶段：
- Reduce 进程启动一些数据复制线程，请求 Map 任务所在的 TaskTracker 以获取输出文件（Copy 阶段）
- 把复制过来的文件经过reducetask处理
- 最后直接输出
欢迎分享，转载请注明来源：内存溢出
微信扫一扫
支付宝扫一扫
评论列表（0条）