linux删除大文件的前n行

在数据挖掘中我们经常会增量更新训练日志，需要删除前n行的过期数据，直接用sed命令比较慢，谷歌了一下，发现有个奇技淫巧：

tail -n +3 old_file >new_file

mv new_file old_file

这样就删除了前2行，速度要比sed命令快

?

1

:g/^/+1 d

上面用到了:gbobal命令，gbobal命令格式如下：

?

1

:[range]global/{pattern}/{command}

global命令实际上是分成两步执行：首先扫描[range]指定范围内的所有行，给匹配{pattern}的行打上标记；然后依次对打有标记的行执行{command}命令，如果被标记的行在对之前匹配行的命令 *** 作中被删除、移动或合并，则其标记自动消失，而不对该行执行{command}命令。{command}可以是一个ex命令，也可以是用|分隔的多个ex命令，这样我们就可以对被标记行，或从标记行寻址到的行进行多种不同的 *** 作。

上面删除偶数行的命令，先匹配所有行，然后隔行删除（其中+1用以定位于当前行的下一行）。为什么是隔行呢？因为在对第一行执行+1 d命令时删除的是第二行，而第二行虽然也被标记了，但已不存在了，因此不会执行删除第三行的命令。

删除几数行的命令如下：

?

1

:g/^/d|m

其中m的作用是移出偶数行的标记，防止偶数行也被删除。

另外删除几数行偶数行，也可以用normal命令，分别为（第一个命令为几数行）：

?

12

:%norm jkdd:%norm jdd