大数据术语之Linux

大数据术语之Linux

关注点：CPU、内存、磁盘IO、网络IO、磁盘大小
top    查看内存
df -h    查看磁盘存储情况
iotop    查看磁盘IO读写(yum install iotop安装）
iotop -o    直接查看比较高的磁盘读写程序
netstat -tunlp | grep 端口号    查看端口占用情况
uptime    查看报告系统运行时长及平均负载
ps  aux    查看进程
vmstat  查看cpu

wc -l filename  #输出 filename 的行数
wc -c filename  #输出 filename 的字节数
wc -m filename  #输出 filename 的字符数
wc -w filename  #输出 filename 的单词数
wc -L filename  #输出 filename 文件里最长的那一行是多少个字符数

查看文件前n行数据 head -n 数字 文件名
head -n 3 ip_china.csv

查看文件前n行数据 sed -n "开始行，结束行p" 文件名
sed -n '1,3p' ip_china.csv
sed -n '1p' ip_china.csv

从第3000行开始，显示1000行。即显示3000~3999行
cat ip_china.csv| head -n 3000 | tail -n +100

命令基本格式：
awk [optioins] {program} file
简化命令    选项    描述
-F    fs    指定行中划分数据字段的字段分隔符 「* 超高频」
-f    file    从指定的文件中读取程序
-v    var=value    定义awk程序中的一个变量及其默认值
-mf    N    指定要处理的数据文件中的最大字段数
-mr    N    指定数据文件中的最大数据行数
-W    keyword    指定awk的兼容模式或者警告登记

$0 :代表整个文本行
$1:代表文本行中的第一个数据字段（第一列）
$2:代表文本行中的第二个数据字段（第二列）
$n:代表文本行中的第二个数据字段（第n列

# 每行按空格或TAB分割，输出文本中的1、4项
awk -F , '{print $1,$4}' ip_china.csv