程序员的自我修养
Home » Linux » UNIX Pipeline

UNIX Pipeline

0条评论943次浏览

自从开始用UNIX Pipeline后,感觉查日志速度快了一倍不止。什么是UNIX Pipeline我就不背书了,这里就记录下一些好用的命令吧。

日志示例:

INF [20160215-15:40:52.608] regservice: /alias => {"alias":"13587428", "header":{"name":"XXXX","appkey":"1234567890"}, "token":"abc1234567890"} 1.1.0.0
INF [20160215-15:40:52.608] regservice: /launch => {"header":{"name":"XXXX1","appkey":"1234567891"}, "token":"abc1234567891"} 1.2.0.0
...

grep

not,查找不包含字符串的记录

and,查找满足多个条件的记录

or,查找满足任意一个条件的记录

-oP,这个我也不知道如何描述,我的一个常用场景是:根据日志,统计每个appkey下的日志有多少。于是可用下面的记录先选出appkey(appkey长度固定为10位),以供后续处理:

上文中日志示例的结果为:

sort

sort一般用在2个地方,1是在uniq之前,将记录排序,不然uniq结果会出现各种重复;2就是排序,如:

上面第一次用sort就是第一种用法。第二次用sort为第二种用法。常用参数有-k,指定排序列,从1开始;-n,将默认的字段序变为数字顺序;-r,升序变降序。

uniq

一般都加上参数-c,统计次数。

如上面命令的结果可能为:

wc

统计行数。

awk

详见AWK 简明教程

示例,以冒号(:)为分隔符,选取第一列字符串大于等于[2015-12-15且小于[2016-01-05的记录,然后打印出第1和第3列。

sed

详见sed 简明教程

示例,删除记录前面的"appkey":"和后面的"

head

取前n行

tail

取后n行

持续查看追加到文件末尾的内容

cat & tac

顺序 & 倒叙输出文本

xargs

目前就会用-i参数,意思是可以用{}来代替每个输入。如下,id.txt存放的是所有的主键,一行一个。

cut

常用参数-c,应该意思是按char截取;-d,指定分隔符,和awk类似。下例意思就是取每行的第10个到行尾的字符:

join

-a1,-a2等,意思输出第一个、第二个文件的全部field;-o "1.1,2.1,2.2",意思是输出第一个文件的第一个field,第二个文件的第一个和第二个field;-e,join不到的输出字符,可以设置为-e "NULL"。

1个示例

看懂就可以干后端啦!

(转载本站文章请注明作者和出处 程序员的自我修养 – SelfUp.cn ,请勿用于任何商业用途)
分类:Linux
标签:,
发表评论


profile
  • 文章总数:79篇
  • 评论总数:339条
  • 分类总数:31个
  • 标签总数:44个
  • 运行时间:978天

大家好,欢迎来到selfup.cn。

这不是一个只谈技术的博客,这里记录我成长的点点滴滴,coding、riding and everthing!

最新评论
  • yurnom: 可能苹果最近又改变了返回值吧,最近没做测试了。 BadDeviceToken一般测试环境和正式环境弄错的情况 下会出现。
  • Anonymous: :razz: 博主,良心贴啊, 最近也在弄apns推送。 有个问题想请教你一下啊。 你博客中写的 Unregistered 错误,有准确的说明吗, 我看你博客中写的:...
  • 一波清泉: 回复邮箱: 1004161699@qq.com 多谢
  • Anonymous: 17/02/09 01:15:02 WARN Utils: Service ‘SparkUI’ could not bind on port 4040. Attempting port...
  • pacificLee: :twisted:
  • 小码: 为什么没有后面的呢,只有前10个
  • Anonymous: :lol:
  • Anonymous: :razz: 楼主是属于会聊天的。 我想问,sqoop发了几个版本了,应该没这些问题了吧。
  • Anonymous: Config.kafkaConfig.kafkaGroupI d 这个是指自己配置的group id 还是从 import org.apache.kafka.common.config .Config 这个类...
  • Anonymous: ZkUtils.getPartitionsForTopics (zkClient, Config.kafkaConfig.topic) 那个方法是在 spark-streaming_2.10 中 kafka...
  • Anonymous: ZkUtils.getPartitionsForTopics (zkClient, Config.kafkaConfig.topic) 你确定 kafka 里面有这个类 ? 个人在kafka 最新 稳定版...
  • Anonymous: :roll:
  • Anonymous: 很不错,试问有java版的吗?
  • Anonymous: 赞
  • Anonymous: 哈哈 看楼主的吐槽乐死了 where子句是可以写的 同样找不到资料 一点点试出来的 select id from xxxx where ${CONDITIONS} and 1=1 and 2=2 limit 4
  • EVIL: 我在运行完C4.5的代码后,显示 defined object DecisionTreeTest 是什么意思?这是有错误吗?运行结果在哪里看?
  • sf: 楼主的问题,我都遇到。。。没办法项目已经定型了,最后都硬着头 皮一个一个的改了源码
  • zz: 我去,楼主你真及时,我们今天上了新的HTTP2 push之后也发现速度曲线很奇怪,开始有200k/min,跟 另一台老的推送协议速度差不多,但是过了一会,立马降到只有几k /min,百思不得其解,我们还用了一个海外代理,在...
  • qi365: :mad: 很可恶,百度助纣为虐~
  • qi365: :? :shock: haha~ very good~