linux grep awk sed 使用

ITman-小爽 · 发表于 2014-4-30 14:57:24

做了这么长时间开发  用了那么多牛X 编辑器用到最后才知道 vim 才是最强大的！
那么多系统  linux 才是最好用的！！
后续加上 awk  sed 的文档

统计 access 日志访问最多的ip
awk '{print $1}' /usr/local/nginx/logs/access.log | sort | uniq -c | sort -n -k 1 -r | head -n 100

批量替换
sed -i "s/oldString/newString/g" `grep oldString -rl /path`

linux grep命令

1.作用
Linux系统中grep命令是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹配的行打印出来。grep全称是Global Regular Expression Print，表示全局正则表达式版本，它的使用权限是所有用户。

2.格式
grep [options]

3.主要参数
[options]主要参数：
－c：只输出匹配行的计数。
－I：不区分大小写(只适用于单字符)。
－h：查询多文件时不显示文件名。
－l：查询多文件时只输出包含匹配字符的文件名。
－n：显示匹配行及行号。
－s：不显示不存在或无匹配文本的错误信息。
－v：显示不包含匹配文本的所有行。
pattern正则表达式主要参数：
\：忽略正则表达式中特殊字符的原有含义。
^：匹配正则表达式的开始行。
$: 匹配正则表达式的结束行。
\<：从匹配正则表达式的行开始。
\>：到匹配正则表达式的行结束。
[ ]：单个字符，如[A]即A符合要求。
[ - ]：范围，如[A-Z]，即A、B、C一直到Z都符合要求。
。：所有的单个字符。
* ：有字符，长度可以为0。

4.grep命令使用简单实例
$ grep ‘test’ d*
显示所有以d开头的文件中包含 test的行。
$ grep ‘test’ aa bb cc
显示在aa，bb，cc文件中匹配test的行。
$ grep ‘[a-z]\{5\}’ aa
显示所有包含每个字符串至少有5个连续小写字符的字符串的行。
$ grep ‘w$es$t.*\1′ aa
如果west被匹配，则es就被存储到内存中，并标记为1，然后搜索任意个字符(.*)，这些字符后面紧跟着另外一个es(\1)，找到就显示该行。如果用egrep或grep -E，就不用”\”号进行转义，直接写成’w(es)t.*\1′就可以了。

5.grep命令使用复杂实例
假设您正在’/usr/src/Linux/Doc’目录下搜索带字符串’magic’的文件：
$ grep magic /usr/src/Linux/Doc/*
sysrq.txt:* How do I enable the magic SysRQ key?
sysrq.txt:* How do I use the magic SysRQ key?
其中文件’sysrp.txt’包含该字符串，讨论的是 SysRQ 的功能。
默认情况下，’grep’只搜索当前目录。如果此目录下有许多子目录，’grep’会以如下形式列出：
grep: sound: Is a directory
这可能会使’grep’ 的输出难于阅读。这里有两种解决的办法：
明确要求搜索子目录：grep -r
或忽略子目录：grep -d skip
如果有很多输出时，您可以通过管道将其转到’less’上阅读：
$ grep magic /usr/src/Linux/Documentation/* | less
这样，您就可以更方便地阅读。

有一点要注意，您必需提供一个文件过滤方式(搜索全部文件的话用 *)。如果您忘了，’grep’会一直等着，直到该程序被中断。如果您遇到了这样的情况，按 <CTRL c> ，然后再试。

下面还有一些有意思的命令行参数：
grep -i pattern files ：不区分大小写地搜索。默认情况区分大小写，
grep -l pattern files ：只列出匹配的文件名，
grep -L pattern files ：列出不匹配的文件名，
grep -w pattern files ：只匹配整个单词，而不是字符串的一部分(如匹配’magic’，而不是’magical’)，
grep -C number pattern files ：匹配的上下文分别显示[number]行，
grep pattern1 | pattern2 files ：显示匹配 pattern1 或 pattern2 的行，
grep pattern1 files | grep pattern2 ：显示既匹配 pattern1 又匹配 pattern2 的行。

grep -n pattern files 即可显示行号信息

grep -c pattern files 即可查找总行数

这里还有些用于搜索的特殊符号：
\< 和 \> 分别标注单词的开始与结尾。
例如：
grep man * 会匹配 ‘Batman’、’manic’、’man’等，
grep ‘\<man’ * 匹配’manic’和’man’，但不是’Batman’，
grep ‘\<man\>’ 只匹配’man’，而不是’Batman’或’manic’等其他的字符串。
‘^’：指匹配的字符串在行首，
‘$’：指匹配的字符串在行尾，

Grep 命令用法大全1、参数：
-I ：忽略大小写
-c ：打印匹配的行数
-l ：从多个文件中查找包含匹配项
-v ：查找不包含匹配项的行
-n：打印包含匹配项的行和行标

2、RE（正则表达式）
\ 忽略正则表达式中特殊字符的原有含义
^ 匹配正则表达式的开始行
$ 匹配正则表达式的结束行
\< 从匹配正则表达式的行开始
\> 到匹配正则表达式的行结束
[ ] 单个字符；如[A] 即A符合要求
[ - ] 范围；如[A-Z]即A，B，C一直到Z都符合要求
. 所有的单个字符
* 所有字符，长度可以为0

3、举例
# ps -ef | grep in.telnetd
root 19955 181 0 13:43:53 ? 0:00 in.telnetd

# more size.txt size文件的内容
b124230
b034325
a081016
m7187998
m7282064
a022021
a061048
m9324822
b103303
a013386
b044525
m8987131
B081016
M45678
B103303
BADc2345

# more size.txt | grep '[a-b]' 范围；如[A-Z]即A，B，C一直到Z都符合要求
b124230
b034325
a081016
a022021
a061048
b103303
a013386
b044525
# more size.txt | grep '[a-b]'*
b124230
b034325
a081016
m7187998
m7282064
a022021
a061048
m9324822
b103303
a013386
b044525
m8987131
B081016
M45678
B103303
BADc2345

# more size.txt | grep 'b' 单个字符；如[A] 即A符合要求
b124230 http://bbs.chaobaihe.net 潮白河社区网
b034325 http://fj.chaobaihe.net 潮白河点评网
b103303 本文章来源于潮白家园网: http://www.chaobaihe.net
b044525 本文章来源于潮白家园网: http://www.chaobaihe.net
# more size.txt | grep '[bB]' http://house.chaobaihe.net 潮白房产网
b124230
b034325 本文章来源于潮白家园网: http://www.chaobaihe.net
b103303 本文章来源于潮白家园网: http://www.chaobaihe.net
b044525 http://fj.chaobaihe.net 潮白河点评网
B081016 http://house.chaobaihe.net 潮白房产网
B103303
BADc2345

# grep 'root' /etc/group http://news.chaobaihe.net 潮白新闻网
root::0:root http://house.chaobaihe.net 潮白房产网
bin::2:root,bin,daemon http://news.chaobaihe.net 潮白新闻网
sys::3:root,bin,sys,adm
adm::4:root,adm,daemon
uucp::5:root,uucp
mail::6:root
tty::7:root,tty,adm http://house.chaobaihe.net 潮白房产网
lp::8:root,lp,adm
nuucp::9:root,nuucp
daemon::12:root,daemon http://bbs.chaobaihe.net 潮白河社区网

# grep '^root' /etc/group 匹配正则表达式的开始行
root::0:root

# grep 'uucp' /etc/group http://house.chaobaihe.net 潮白房产网
uucp::5:root,uucp http://news.chaobaihe.net 潮白新闻网
nuucp::9:root,nuucp http://bbs.chaobaihe.net 潮白河社区网

# grep '\<uucp' /etc/group http://news.chaobaihe.net 潮白新闻网
uucp::5:root,uucp
http://house.chaobaihe.net 潮白房产网
# grep 'root$' /etc/group 匹配正则表达式的结束行 http://fj.chaobaihe.net 潮白河点评网
root::0:root http://bbs.chaobaihe.net 潮白河社区网
mail::6:root

# more size.txt | grep -i 'b1..*3' -i ：忽略大小写
本文章来源于潮白家园网: http://www.chaobaihe.net
b124230
b103303
B103303 本文章来源于潮白家园网: http://www.chaobaihe.net
http://fj.chaobaihe.net 潮白河点评网
# more size.txt | grep -iv 'b1..*3' -v ：查找不包含匹配项的行
本文章来源于潮白家园网: http://www.chaobaihe.net
b034325 http://fj.chaobaihe.net 潮白河点评网
a081016 http://bbs.chaobaihe.net 潮白河社区网
m7187998 http://fj.chaobaihe.net 潮白河点评网
m7282064 http://news.chaobaihe.net 潮白新闻网
a022021
a061048
m9324822
a013386
b044525 http://house.chaobaihe.net 潮白房产网
m8987131
B081016
M45678
BADc2345
本文章来源于潮白家园网: http://www.chaobaihe.net
# more size.txt | grep -in 'b1..*3'
1:b124230 http://house.chaobaihe.net 潮白房产网
9:b103303 http://fj.chaobaihe.net 潮白河点评网
15:B103303 http://bbs.chaobaihe.net 潮白河社区网
http://bbs.chaobaihe.net 潮白河社区网
# grep '$' /etc/init.d/nfs.server | wc -l
128
# grep '\$' /etc/init.d/nfs.server | wc –l 忽略正则表达式中特殊字符的原有含义
http://bbs.chaobaihe.net 潮白河社区网
15
# grep '\$' /etc/init.d/nfs.server http://house.chaobaihe.net 潮白房产网
case "$1" in
>/tmp/sharetab.$$ http://bbs.chaobaihe.net 潮白河社区网
[ "x$fstype" != xnfs ] && http://bbs.chaobaihe.net 潮白河社区网
echo "$path\t$res\t$fstype\t$opts\t$desc" http://house.chaobaihe.net 潮白房产网
>>/tmp/sharetab.$$ http://news.chaobaihe.net 潮白新闻网
/usr/bin/touch -r /etc/dfs/sharetab /tmp/sharetab.$$
/usr/bin/mv -f /tmp/sharetab.$$ /etc/dfs/sharetab http://house.chaobaihe.net 潮白房产网
if [ -f /etc/dfs/dfstab ] && /usr/bin/egrep -v '^[ ]*(#|$)' 本文章来源于潮白家园网: http://www.chaobaihe.net
if [ $startnfsd -eq 0 -a -f /etc/rmmount.conf ] &&
if [ $startnfsd -ne 0 ]; then http://fj.chaobaihe.net 潮白河点评网
elif [ ! -n "$_INIT_RUN_LEVEL" ]; then http://news.chaobaihe.net 潮白新闻网
while [ $wtime -gt 0 ]; do http://news.chaobaihe.net 潮白新闻网
wtime=`expr $wtime - 1`
if [ $wtime -eq 0 ]; then
echo "Usage: $0 { start | stop }" http://bbs.chaobaihe.net 潮白河社区网

# more size.txt
http://bbs.chaobaihe.net 潮白河社区网
the test file 本文章来源于潮白家园网: http://www.chaobaihe.net
their are files http://bbs.chaobaihe.net 潮白河社区网
The end

# grep 'the' size.txt
the test file
their are files http://news.chaobaihe.net 潮白新闻网
http://house.chaobaihe.net 潮白房产网
# grep '\<the' size.txt http://house.chaobaihe.net 潮白房产网
the test file
their are files
http://fj.chaobaihe.net 潮白河点评网
# grep 'the\>' size.txt
the test file http://news.chaobaihe.net 潮白新闻网
http://bbs.chaobaihe.net 潮白河社区网
# grep '\<the\>' size.txt http://bbs.chaobaihe.net 潮白河社区网
the test file

# grep '\<[Tt]he\>' size.txt
the test file本文章来源于潮白家园网: http://www.chaobaihe.net
http://bbs.chaobaihe.net 潮白河社区网
==================================================================http://news.chaobaihe.net 潮白新闻网
http://house.chaobaihe.net 潮白房产网
1,简介http://house.chaobaihe.net 潮白房产网
使用正则表达式的一个多用途文本搜索工具.这个php?name=%C3%FC%C1%EE" class="t_tag">命令本来是ed行编辑器中的一个php?name=%C3%FC%C1%EE" class="t_tag">命令/过滤器:http://fj.chaobaihe.net 潮白河点评网
      g/re/p -- global - regular expression - print.本文章来源于潮白家园网: http://www.chaobaihe.net
基本格式
grep pattern [file...]http://bbs.chaobaihe.net 潮白河社区网
(1)grep 搜索字符串 [filename]
(2)grep 正则表达式 [filename]
在文件中搜索所有 pattern 出现的位置, pattern 既可以是要搜索的字符串,也可以是一个正则表达式.
注意：在输入要搜索的字符串时最好使用双引号/而在模式匹配使用正则表达式时，注意使用单引号http://bbs.chaobaihe.net 潮白河社区网

2,grep的选项
-c 只输出匹配行的计数
-i 不区分大小写（用于单字符）http://bbs.chaobaihe.net 潮白河社区网
-n 显示匹配的行号
-v 不显示不包含匹配文本的所以有行http://news.chaobaihe.net 潮白新闻网
-s 不显示错误信息本文章来源于潮白家园网: http://www.chaobaihe.net
-E 使用扩展正则表达式
更多的选项请查看：man grep

3,常用grep实例本文章来源于潮白家园网: http://www.chaobaihe.net

(1)多个文件查询
grep "sort" *.doc    #见文件名的匹配http://bbs.chaobaihe.net 潮白河社区网
http://news.chaobaihe.net 潮白新闻网
(2)行匹配:输出匹配行的计数
grep -c "48" data.doc #输出文档中含有48字符的行数

(3)显示匹配行和行数http://news.chaobaihe.net 潮白新闻网
grep -n "48" data.doc    #显示所有匹配48的行和行号本文章来源于潮白家园网: http://www.chaobaihe.net

(4)显示非匹配的行
grep -vn "48" data.doc    #输出所有不包含48的行
http://house.chaobaihe.net 潮白房产网
(4)显示非匹配的行
grep -vn "48" data.doc    #输出所有不包含48的行

(5)大小写敏感http://house.chaobaihe.net 潮白房产网
grep -i "ab" data.doc    #输出所有含有ab或Ab的字符串的行本文章来源于潮白家园网: http://www.chaobaihe.net
http://bbs.chaobaihe.net 潮白河社区网
4, 正则表达式的应用
http://house.chaobaihe.net 潮白房产网
(1)正则表达式的应用 (注意：最好把正则表达式用单引号括起来)
grep '[239].' data.doc    #输出所有含有以2,3或9开头的，并且是两个数字的行本文章来源于潮白家园网: http://www.chaobaihe.net

(2)不匹配测试http://news.chaobaihe.net 潮白新闻网
grep '^[^48]' data.doc    #不匹配行首是48的行http://bbs.chaobaihe.net 潮白河社区网
本文章来源于潮白家园网: http://www.chaobaihe.net
(3)使用扩展模式匹配http://bbs.chaobaihe.net 潮白河社区网
grep -E '219|216' data.doc

(4) ...
这需要在实践中不断应用和总结，熟练掌握正则表达式。

5, 使用类名
可以使用国际模式匹配的类名：
[[:upper:]] [A-Z]本文章来源于潮白家园网: http://www.chaobaihe.net
[[:lower:]] [a-z]
[[:digit:]] [0-9]http://bbs.chaobaihe.net 潮白河社区网
[[:alnum:]] [0-9a-zA-Z]本文章来源于潮白家园网: http://www.chaobaihe.net
[[:space:]] 空格或tab
[[:alpha:]] [a-zA-Z]本文章来源于潮白家园网: http://www.chaobaihe.net

(1)使用http://house.chaobaihe.net 潮白房产网
grep '5[[:upper:]][[:upper:]]' data.doc    #查询以5开头以两个大写字母结尾的行

[IT技术] linux grep awk sed 使用

楼主热帖

优秀版主

最佳新人

站长推荐 /3