linux grep awk sed 使用

ITman-小爽

做了这么长时间开发  用了那么多 牛X 编辑器用到 最后才知道 vim 才是最强大的！
那么多系统  linux 才是最好用的！！
http://house.chaobaihe.net 潮白房产网后续加上 awk  sed 的文档

http://fj.chaobaihe.net 潮白河点评网统计 access 日志 访问最多的ip
awk '{print $1}' /usr/local/nginx/logs/access.log | sort | uniq -c | sort -n -k 1 -r | head -n 100
http://news.chaobaihe.net 潮白新闻网
批量替换
http://fj.chaobaihe.net 潮白河点评网sed -i "s/oldString/newString/g" `grep oldString -rl /path`
http://house.chaobaihe.net 潮白房产网
http://fj.chaobaihe.net 潮白河点评网linux grep命令
本文章来源于潮白家园网: http://www.chaobaihe.net

1.作用
本文章来源于潮白家园网: http://www.chaobaihe.netLinux系统中grep命令是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹 配的行打印出来。grep全称是Global Regular Expression Print，表示全局正则表达式版本，它的使用权限是所有用户。

2.格式
http://news.chaobaihe.net 潮白新闻网grep [options]

3.主要参数
http://news.chaobaihe.net 潮白新闻网[options]主要参数：
－c：只输出匹配行的计数。
－I：不区分大 小写(只适用于单字符)。
－h：查询多文件时不显示文件名。
－l：查询多文件时只输出包含匹配字符的文件名。
－n：显示匹配行及 行号。
－s：不显示不存在或无匹配文本的错误信息。
－v：显示不包含匹配文本的所有行。
pattern正则表达式主要参数：
\： 忽略正则表达式中特殊字符的原有含义。
^：匹配正则表达式的开始行。
http://fj.chaobaihe.net 潮白河点评网$: 匹配正则表达式的结束行。
\<：从匹配正则表达 式的行开始。
\>：到匹配正则表达式的行结束。
[ ]：单个字符，如[A]即A符合要求 。
[ - ]：范围，如[A-Z]，即A、B、C一直到Z都符合要求 。
。：所有的单个字符。
http://fj.chaobaihe.net 潮白河点评网* ：有字符，长度可以为0。

4.grep命令使用简单实例
http://news.chaobaihe.net 潮白新闻网$ grep ‘test’ d*
本文章来源于潮白家园网: http://www.chaobaihe.net显示所有以d开头的文件中包含 test的行。
$ grep ‘test’ aa bb cc
http://fj.chaobaihe.net 潮白河点评网显示在aa，bb，cc文件中匹配test的行。
$ grep ‘[a-z]\{5\}’ aa
显示所有包含每个字符串至少有5个连续小写字符的字符串的行。
$ grep ‘w\(es\)t.*\1′ aa
本文章来源于潮白家园网: http://www.chaobaihe.net如果west被匹配，则es就被存储到内存中，并标记为1，然后搜索任意个字符(.*)，这些字符后面紧跟着 另外一个es(\1)，找到就显示该行。如果用egrep或grep -E，就不用”\”号进行转义，直接写成’w(es)t.*\1′就可以了。

5.grep命令使用复杂实例
假设您正在’/usr/src/Linux/Doc’目录下搜索带字符 串’magic’的文件：
$ grep magic /usr/src/Linux/Doc/*
http://bbs.chaobaihe.net 潮白河社区网sysrq.txt:* How do I enable the magic SysRQ key?
sysrq.txt:* How do I use the magic SysRQ key?
http://house.chaobaihe.net 潮白房产网其中文件’sysrp.txt’包含该字符串，讨论的是 SysRQ 的功能。
默认情况下，’grep’只搜索当前目录。如果 此目录下有许多子目录，’grep’会以如下形式列出：
grep: sound: Is a directory
这可能会使’grep’ 的输出难于阅读。这里有两种解决的办法：
http://house.chaobaihe.net 潮白房产网明确要求搜索子目录：grep -r
http://fj.chaobaihe.net 潮白河点评网或忽略子目录：grep -d skip
如果有很多 输出时，您可以通过管道将其转到’less’上阅读：
$ grep magic /usr/src/Linux/Documentation/* | less
这样，您就可以更方便地阅读。

有一点要注意，您必需提供一个文件过滤方式(搜索全部文件的话用 *)。如果您忘了，’grep’会一直等着，直到该程序被中断。如果您遇到了这样的情况，按 <CTRL c> ，然后再试。

下面还有一些有意思的命令行参数：
grep -i pattern files ：不区分大小写地搜索。默认情况区分大小写，
grep -l pattern files ：只列出匹配的文件名，
grep -L pattern files ：列出不匹配的文件名，
grep -w pattern files ：只匹配整个单词，而不是字符串的一部分(如匹配’magic’，而不是’magical’)，
http://bbs.chaobaihe.net 潮白河社区网grep -C number pattern files ：匹配的上下文分别显示[number]行，
http://bbs.chaobaihe.net 潮白河社区网grep pattern1 | pattern2 files ：显示匹配 pattern1 或 pattern2 的行，
http://bbs.chaobaihe.net 潮白河社区网grep pattern1 files | grep pattern2 ：显示既匹配 pattern1 又匹配 pattern2 的行。

grep -n pattern files  即可显示行号信息

grep -c pattern files  即可查找总行数

这里还有些用于搜索的特殊符号：
\< 和 \> 分别标注单词的开始与结尾。
例如：
grep man * 会匹配 ‘Batman’、’manic’、’man’等，
http://bbs.chaobaihe.net 潮白河社区网grep ‘\<man’ * 匹配’manic’和’man’，但不是’Batman’，
grep ‘\<man\>’ 只匹配’man’，而不是’Batman’或’manic’等其他的字符串。
http://fj.chaobaihe.net 潮白河点评网‘^’：指匹配的字符串在行首，
http://news.chaobaihe.net 潮白新闻网‘$’：指匹配的字符串在行 尾，

Grep 命令 用法大全1、 参数：
http://fj.chaobaihe.net 潮白河点评网-I ：忽略大小写
http://fj.chaobaihe.net 潮白河点评网-c ：打印匹配的行数
http://house.chaobaihe.net 潮白房产网-l ：从多个文件中查找包含匹配项
http://house.chaobaihe.net 潮白房产网-v ：查找不包含匹配项的行
本文章来源于潮白家园网: http://www.chaobaihe.net-n：打印包含匹配项的行和行标
http://fj.chaobaihe.net 潮白河点评网
2、RE（正则表达式）
http://bbs.chaobaihe.net 潮白河社区网\ 忽略正则表达式中特殊字符的原有含义
http://house.chaobaihe.net 潮白房产网^ 匹配正则表达式的开始行
http://fj.chaobaihe.net 潮白河点评网$ 匹配正则表达式的结束行
\< 从匹配正则表达式的行开始
\> 到匹配正则表达式的行结束
[ ] 单个字符；如[A] 即A符合要求
[ - ] 范围 ；如[A-Z]即A，B，C一直到Z都符合要求
. 所有的单个字符
http://bbs.chaobaihe.net 潮白河社区网* 所有字符，长度可以为0

http://house.chaobaihe.net 潮白房产网3、举例
# ps -ef | grep in.telnetd
root 19955 181 0 13:43:53 ? 0:00 in.telnetd
http://news.chaobaihe.net 潮白新闻网
http://news.chaobaihe.net 潮白新闻网# more size.txt size文件的内容
http://house.chaobaihe.net 潮白房产网b124230
b034325
a081016
http://fj.chaobaihe.net 潮白河点评网m7187998
m7282064
a022021
http://bbs.chaobaihe.net 潮白河社区网a061048
http://bbs.chaobaihe.net 潮白河社区网m9324822
b103303
http://house.chaobaihe.net 潮白房产网a013386
http://news.chaobaihe.net 潮白新闻网b044525
m8987131
http://house.chaobaihe.net 潮白房产网B081016
M45678
http://house.chaobaihe.net 潮白房产网B103303
BADc2345
http://bbs.chaobaihe.net 潮白河社区网
# more size.txt | grep '[a-b]' 范围 ；如[A-Z]即A，B，C一直到Z都符合要求
http://news.chaobaihe.net 潮白新闻网b124230
b034325
a081016
http://news.chaobaihe.net 潮白新闻网a022021
a061048
本文章来源于潮白家园网: http://www.chaobaihe.netb103303
a013386
b044525
http://news.chaobaihe.net 潮白新闻网# more size.txt | grep '[a-b]'*
http://fj.chaobaihe.net 潮白河点评网b124230
http://bbs.chaobaihe.net 潮白河社区网b034325
a081016
本文章来源于潮白家园网: http://www.chaobaihe.netm7187998
本文章来源于潮白家园网: http://www.chaobaihe.netm7282064
http://bbs.chaobaihe.net 潮白河社区网a022021
a061048
http://bbs.chaobaihe.net 潮白河社区网m9324822
http://house.chaobaihe.net 潮白房产网b103303
a013386
b044525
m8987131
B081016
M45678
http://bbs.chaobaihe.net 潮白河社区网B103303
BADc2345
http://fj.chaobaihe.net 潮白河点评网
# more size.txt | grep 'b' 单个字符；如[A] 即A符合要求
http://bbs.chaobaihe.net 潮白河社区网b124230
http://news.chaobaihe.net 潮白新闻网b034325
b103303
b044525
# more size.txt | grep '[bB]'
b124230
b034325
b103303
b044525
B081016
B103303
BADc2345

# grep 'root' /etc/group
root::0:root
bin::2:root,bin,daemon
sys::3:root,bin,sys,adm
http://house.chaobaihe.net 潮白房产网adm::4:root,adm,daemon
uucp::5:root,uucp
http://fj.chaobaihe.net 潮白河点评网mail::6:root
http://bbs.chaobaihe.net 潮白河社区网tty::7:root,tty,adm
lp::8:root,lp,adm
本文章来源于潮白家园网: http://www.chaobaihe.netnuucp::9:root,nuucp
http://bbs.chaobaihe.net 潮白河社区网daemon::12:root,daemon

http://bbs.chaobaihe.net 潮白河社区网# grep '^root' /etc/group 匹配正则表达式的开始行
http://bbs.chaobaihe.net 潮白河社区网root::0:root

http://bbs.chaobaihe.net 潮白河社区网# grep 'uucp' /etc/group
http://bbs.chaobaihe.net 潮白河社区网uucp::5:root,uucp
http://house.chaobaihe.net 潮白房产网nuucp::9:root,nuucp

# grep '\<uucp' /etc/group
http://news.chaobaihe.net 潮白新闻网uucp::5:root,uucp

http://news.chaobaihe.net 潮白新闻网# grep 'root$' /etc/group 匹配正则表达式的结束行
http://bbs.chaobaihe.net 潮白河社区网root::0:root
http://house.chaobaihe.net 潮白房产网mail::6:root

http://bbs.chaobaihe.net 潮白河社区网# more size.txt | grep -i 'b1..*3' -i ：忽略大小写

b124230
b103303
B103303

# more size.txt | grep -iv 'b1..*3' -v ：查找不包含匹配项的行
http://news.chaobaihe.net 潮白新闻网
http://fj.chaobaihe.net 潮白河点评网b034325
a081016
m7187998
m7282064
a022021
http://bbs.chaobaihe.net 潮白河社区网a061048
本文章来源于潮白家园网: http://www.chaobaihe.netm9324822
http://news.chaobaihe.net 潮白新闻网a013386
http://house.chaobaihe.net 潮白房产网b044525
m8987131
本文章来源于潮白家园网: http://www.chaobaihe.netB081016
http://news.chaobaihe.net 潮白新闻网M45678
http://house.chaobaihe.net 潮白房产网BADc2345
http://bbs.chaobaihe.net 潮白河社区网
本文章来源于潮白家园网: http://www.chaobaihe.net# more size.txt | grep -in 'b1..*3'
1:b124230
http://news.chaobaihe.net 潮白新闻网9:b103303
本文章来源于潮白家园网: http://www.chaobaihe.net15:B103303
http://fj.chaobaihe.net 潮白河点评网
# grep '$' /etc/init.d/nfs.server | wc -l
128
# grep '\$' /etc/init.d/nfs.server | wc –l 忽略正则表达式中特殊字符的原有含义
http://fj.chaobaihe.net 潮白河点评网
15
http://house.chaobaihe.net 潮白房产网# grep '\$' /etc/init.d/nfs.server
case "$1" in
http://news.chaobaihe.net 潮白新闻网>/tmp/sharetab.$$
[ "x$fstype" != xnfs ] &&
echo "$path\t$res\t$fstype\t$opts\t$desc"
http://house.chaobaihe.net 潮白房产网>>/tmp/sharetab.$$
本文章来源于潮白家园网: http://www.chaobaihe.net/usr/bin/touch -r /etc/dfs/sharetab /tmp/sharetab.$$
http://fj.chaobaihe.net 潮白河点评网/usr/bin/mv -f /tmp/sharetab.$$ /etc/dfs/sharetab
http://bbs.chaobaihe.net 潮白河社区网if [ -f /etc/dfs/dfstab ] && /usr/bin/egrep -v '^[ ]*(#|$)'
本文章来源于潮白家园网: http://www.chaobaihe.netif [ $startnfsd -eq 0 -a -f /etc/rmmount.conf ] &&
if [ $startnfsd -ne 0 ]; then
http://house.chaobaihe.net 潮白房产网elif [ ! -n "$_INIT_RUN_LEVEL" ]; then
while [ $wtime -gt 0 ]; do
wtime=`expr $wtime - 1`
if [ $wtime -eq 0 ]; then
http://fj.chaobaihe.net 潮白河点评网echo "Usage: $0 { start | stop }"
http://fj.chaobaihe.net 潮白河点评网
# more size.txt

http://house.chaobaihe.net 潮白房产网the test file
http://news.chaobaihe.net 潮白新闻网their are files
http://house.chaobaihe.net 潮白房产网The end
http://news.chaobaihe.net 潮白新闻网
# grep 'the' size.txt
the test file
http://news.chaobaihe.net 潮白新闻网their are files

# grep '\<the' size.txt
http://bbs.chaobaihe.net 潮白河社区网the test file
their are files

http://news.chaobaihe.net 潮白新闻网# grep 'the\>' size.txt
http://news.chaobaihe.net 潮白新闻网the test file

# grep '\<the\>' size.txt
the test file
http://bbs.chaobaihe.net 潮白河社区网
# grep '\<[Tt]he\>' size.txt
the test file

==================================================================

本文章来源于潮白家园网: http://www.chaobaihe.net1,简介
使用正则表达式的一个多用途文本搜索工具.这个php?name=%C3%FC%C1%EE" class="t_tag">命令本来是ed行编辑器中的一个php?name=%C3%FC%C1%EE" class="t_tag">命令/过滤器:
http://house.chaobaihe.net 潮白房产网        g/re/p -- global - regular expression - print.
基本格式
grep pattern [file...]
(1)grep 搜索字符串 [filename]
http://fj.chaobaihe.net 潮白河点评网(2)grep 正则表达式 [filename]
在文件中搜索所有 pattern 出现的位置, pattern 既可以是要搜索的字符串,也可以是一个正则表达式.
注意：在输入要搜索的字符串时最好使用双引号/而在模式匹配使用正则表达式时，注意使用单引号

2,grep的选项
    -c 只输出匹配行的计数
    -i 不区分大小写（用于单字符）
    -n 显示匹配的行号
    -v 不显示不包含匹配文本的所以有行
本文章来源于潮白家园网: http://www.chaobaihe.net    -s 不显示错误信息
    -E 使用扩展正则表达式
http://news.chaobaihe.net 潮白新闻网    更多的选项请查看：man grep
本文章来源于潮白家园网: http://www.chaobaihe.net
本文章来源于潮白家园网: http://www.chaobaihe.net3,常用grep实例

本文章来源于潮白家园网: http://www.chaobaihe.net(1)多个文件查询
http://house.chaobaihe.net 潮白房产网    grep "sort" *.doc       #见文件名的匹配

http://news.chaobaihe.net 潮白新闻网(2)行匹配:输出匹配行的计数
http://fj.chaobaihe.net 潮白河点评网    grep -c "48" data.doc   #输出文档中含有48字符的行数

http://fj.chaobaihe.net 潮白河点评网(3)显示匹配行和行数
    grep -n "48" data.doc       #显示所有匹配48的行和行号

(4)显示非匹配的行
本文章来源于潮白家园网: http://www.chaobaihe.net    grep -vn "48" data.doc      #输出所有不包含48的行
本文章来源于潮白家园网: http://www.chaobaihe.net
(4)显示非匹配的行
    grep -vn "48" data.doc      #输出所有不包含48的行
http://house.chaobaihe.net 潮白房产网
http://news.chaobaihe.net 潮白新闻网(5)大小写敏感
http://news.chaobaihe.net 潮白新闻网    grep -i "ab" data.doc       #输出所有含有ab或Ab的字符串的行

4, 正则表达式的应用

(1)正则表达式的应用 (注意：最好把正则表达式用单引号括起来)
    grep '[239].' data.doc      #输出所有含有以2,3或9开头的，并且是两个数字的行

(2)不匹配测试
http://news.chaobaihe.net 潮白新闻网    grep '^[^48]' data.doc      #不匹配行首是48的行

http://fj.chaobaihe.net 潮白河点评网(3)使用扩展模式匹配
    grep -E '219|216' data.doc

(4) ...
    这需要在实践中不断应用和总结，熟练掌握正则表达式。

http://house.chaobaihe.net 潮白房产网5, 使用类名
http://house.chaobaihe.net 潮白房产网可以使用国际模式匹配的类名：
本文章来源于潮白家园网: http://www.chaobaihe.net[[:upper:]]   [A-Z]
本文章来源于潮白家园网: http://www.chaobaihe.net[[:lower:]]   [a-z]
http://bbs.chaobaihe.net 潮白河社区网[[:digit:]]   [0-9]
http://fj.chaobaihe.net 潮白河点评网[[:alnum:]]   [0-9a-zA-Z]
http://bbs.chaobaihe.net 潮白河社区网[[:space:]]   空格或tab
[[:alpha:]]   [a-zA-Z]
http://news.chaobaihe.net 潮白新闻网
http://news.chaobaihe.net 潮白新闻网(1)使用
http://news.chaobaihe.net 潮白新闻网    grep '5[[:upper:]][[:upper:]]' data.doc     #查询以5开头以两个大写字母结尾的行