程序员的自我修养
Home » Linux » UNIX Pipeline

UNIX Pipeline

0条评论1,338次浏览

自从开始用UNIX Pipeline后,感觉查日志速度快了一倍不止。什么是UNIX Pipeline我就不背书了,这里就记录下一些好用的命令吧。

日志示例:

INF [20160215-15:40:52.608] regservice: /alias => {"alias":"13587428", "header":{"name":"XXXX","appkey":"1234567890"}, "token":"abc1234567890"} 1.1.0.0
INF [20160215-15:40:52.608] regservice: /launch => {"header":{"name":"XXXX1","appkey":"1234567891"}, "token":"abc1234567891"} 1.2.0.0
...

grep

not,查找不包含字符串的记录

and,查找满足多个条件的记录

or,查找满足任意一个条件的记录

-oP,这个我也不知道如何描述,我的一个常用场景是:根据日志,统计每个appkey下的日志有多少。于是可用下面的记录先选出appkey(appkey长度固定为10位),以供后续处理:

上文中日志示例的结果为:

sort

sort一般用在2个地方,1是在uniq之前,将记录排序,不然uniq结果会出现各种重复;2就是排序,如:

上面第一次用sort就是第一种用法。第二次用sort为第二种用法。常用参数有-k,指定排序列,从1开始;-n,将默认的字段序变为数字顺序;-r,升序变降序。

uniq

一般都加上参数-c,统计次数。

如上面命令的结果可能为:

wc

统计行数。

awk

详见AWK 简明教程

示例,以冒号(:)为分隔符,选取第一列字符串大于等于[2015-12-15且小于[2016-01-05的记录,然后打印出第1和第3列。

sed

详见sed 简明教程

示例,删除记录前面的"appkey":"和后面的"

head

取前n行

tail

取后n行

持续查看追加到文件末尾的内容

cat & tac

顺序 & 倒叙输出文本

xargs

目前就会用-i参数,意思是可以用{}来代替每个输入。如下,id.txt存放的是所有的主键,一行一个。

cut

常用参数-c,应该意思是按char截取;-d,指定分隔符,和awk类似。下例意思就是取每行的第10个到行尾的字符:

join

-a1,-a2等,意思输出第一个、第二个文件的全部field;-o "1.1,2.1,2.2",意思是输出第一个文件的第一个field,第二个文件的第一个和第二个field;-e,join不到的输出字符,可以设置为-e "NULL"。

1个示例

看懂就可以干后端啦!

(转载本站文章请注明作者和出处 程序员的自我修养 – SelfUp.cn ,请勿用于任何商业用途)
分类:Linux
标签:,
发表评论


profile
  • 文章总数:79篇
  • 评论总数:280条
  • 分类总数:31个
  • 标签总数:44个
  • 运行时间:1130天

大家好,欢迎来到selfup.cn。

这不是一个只谈技术的博客,这里记录我成长的点点滴滴,coding、riding and everthing!

最新评论
  • 张瑞昌: 有很多,比较常见的是Jacob迭代法,一次迭代O(n^3), 迭代次数不清楚。 如果是手动算的话按照定义求就可以了
  • Anonymous: :mrgreen:
  • lc277: 你好 我想问下一般删除节点要多久,要删除的datanode大概用了 1t,解除授权已经30多小时还没完成,请问是出现什么问题了吗 麻烦告诉下谢谢 qq1844554123
  • Anonymous: 你好 我想问下一般删除节点要多久,要删除的datanode大概用了 1t,解除授权已经30多小时还没完成,请问是出现什么问题了吗
  • Anonymous: :smile: :grin: :eek:
  • 李雪璇: 想要完整代码,可以帮忙发给我吗
  • Anonymous: 请问一下,那个 user的推荐结果楼主查看了么? 为什么输入数据 最高是五分,输出结果都是7分8分啥的?怎么设置输出的分数的最 大值?
  • Anonymous: 那个 user的推荐结果楼主查看了么? 为什么输入数据 最高是五分,输出结果都是7分8分啥的?
  • Anonymous: stopGracefullyOnShutdown在yarn- client模式下我测试的无效,你的呢
  • Anonymous: 另外,import的lib包能否发个列表.
  • Anonymous: 部分程序已经无法使用, 另外 你的import代码 也应该放上来哈
  • wzq: 赞
  • 增达网: 受教了!呵呵!
  • Anonymous: :!: :smile: :oops: :grin: :eek: :shock:
  • 27: :razz: dsa会报错,rsa不会
  • Anonymous: 看错了 忽略我
  • Anonymous: UserSideCF这个类在哪里
  • 晴子: 在主节点初始化CM5数据库的时候报错误:Verifying that we can write to /opt/cm-5.9.0/etc/cloudera-scm -server log4j:ERROR Could not...
  • zhangnew: 就4题 :?:
  • linxh: “ 但要是遇到预先并不知道数组的长度而又需要获取正确的(或者称之 为原始的)split长度时,该如何处理呢。。? ” 印象中可以split函数参数传-1?