cat file|awk では実行時間 < CPU時間となっていますが、cat が I/O wait していないとは限りません。実行時間は単純に終了時間 - 開始時間で算出しますが、CPU時間はプロセスのCPU時間を getrusage システムコールで取得します。catのプロセスと awk のプロセスが並列実行されている期間があるため、実行時間 < CPU時間となっています。例えば、CPUバウンドな2プロセスがほぼ完全に並列実行されると、実行時間 * 2 ≒ CPU時間 となったりします。 （中略） 大きなテキストファイルをawkで処理するときにcatで投げ込むと速い理由 - ablog と書きましたが、プロセスの ランキュー待ち時間は /proc//sched の2列目(sched_info.run_delay) I/O待ち時間は /proc//schedstat の se.stati
以下、長々と書いてますが、結論は ”私の環境で”大きなテキストファイルをawkで処理するときにcatで投げ込むと速い理由 - ablogに書いてます はじめに awk file より cat file|awk のほうが速いという以下のブログエントリが興味深いので調べてみました。 ちなみに cat file|awk が速くなる環境は稀で、巷では awk file のほうが速い環境のほうが多いようで、どちらが速いかは環境依存です。 [root@localhost sample]# cat command1 awk '$5 ~ /((26|27|28|29|30)\/Jun|(01|02|03)\/Jul)/{ print }' sample.txt > result1.txt （中略） [root@localhost sample]# time sh command1 real 0m53.92
追記が増えたので整理 経緯 2.5GBのテキストファイルを加工する必要があり、①vimで開いて加工→vim死亡②sublime textで開いて加工→sublime text死亡となったため、awkを用いて以下の様なコマンドを実行した。 $ cat sample.txt | awk '$5 ~ /((26|27|28|29|30)\/Jun|(01|02|03)\/Jul)/{ print }' > result.txt すると 「catいらなくね？」と指摘 さらにMATSUMOTO, Ryosuke (@matsumotory) | Twitter ＜ 「キャッシュに入れて高速化してるんかと思った」 とコメントをもらいました。ので、どっちが速いかの検証です。 注意 加工の目的はログファイルからある期間だけの行を抜き取りたい 正規表現がいけてないのは気にしない 比較 awkにファイル指定す
/usr/local/bin にある #!/usr/bin/python3 をみつけたい、場面です。 こんな感じ。 find /usr/local/bin -type file | xargs awk '/python3/ {print FILENAME} {nextfile}' １行目だけ検査したらさっさと nextfile で次に移るので OK というわけ。 nextfile Stop processing the current input file. The next input record read comes from the next input file. FILENAME and ARGIND are updated, FNR is reset to 1, and processing starts over with the first pattern in the
はじめに 本稿はAWKという言語を用いて、 ごく簡単にデータ分析用の前処理*1をするための解説記事です。 AWKは短いコマンドを記述するだけで多様なデータ処理を可能にします。 特にデータの抽出に関して恐るべき簡易さを提供します。 具体的には、input.txtというファイルの中から "fail"という文字列を含む行を抽出したければ次のように書くだけです。 awk /fail/ input.txt つまり、スラッシュ記号で文字列を指定するだけで その文字列を含む行を抽出できるのです。 大変簡単ですね！ また、awkはLinuxやMacには標準で入っており、 Windowsでもawk.exeを一つ用意するだけなので、 面倒なインストール作業や環境構築は不要で誰でも即座に使えるため、 自分で書いた処理を他人に渡したり*2各サーバに仕込むなども簡単に出来ます。 複雑な処理をする場合はPythonや
編注1：「シェル芸」とは、UNIXシェル（主にbash）のワンライナーを駆使して文字列加工を自由自在に操ることです。また、そのような能力をもつ人をシェル芸人と呼びます。 パターンとアクション AWKはパターンとアクションを組み合わせるプログラム言語です。日本語で「もし○○だったら、○○をする」という文章のうち、「もし○○だったら」という部分がパターンであり、「○○する」という部分がアクションです注1。このようにパターンとアクションで構成されるAWKの基本文法は直感的であるため、様々な機会で用いられます。これをAWKスクリプトで記述すると以下のようになります。 さて、「パターン」という名前から「正規表現にマッチする」ようなイメージを持たれるかもしれませんが、AWKのパターンは「条件式」そのものであり、その条件式の戻り値による「真偽」にしたがいアクションが実行されます。今回はこのパターンの真偽
gawk には fork() 関数が用意されているのはご存知ですか? Perl の fork() 関数に似ており、複数の CPU コアを搭載するマシンで多重ループを回すような時には並列処理することができます。 まず、普通の awk スクリプトで多重ループを書いてみます。 #! /usr/local/bin/gawk -f # fork_1.awk BEGIN { max_i = 10; max_j = 1000000; for (i = 1; i <= max_i; i++) { for (j = 1; j <= max_j; j++) { print i * j; } } } つまり 10 x 1,000,000 回のループを回します。 $ gawk -f fork_1.awk > /dev/null gawk -f fork_1.awk > /dev/null 5.72s user 0
unite-xmas-tree - C++でゲームプログラミング, treeコマンドでターミナルにクリスマスツリーを飾る - じゃ、ま、いっか などでクリスマスツリーを作るのが流行っている (?) ようなので、awk でクリスマスツリーを作ってみます。 作り方としては以下のような順番です。 ツリーの元になる連続したスペースでできた文字列を作ります。 文字列の一部を飾りとなる文字で置換します。 両サイドにツリーの形となる斜め線を加えます。 センタリングしてできあがり。 #! /bin/awk -f # xmas_tree.awk BEGIN { width = 76; decoration_list = "J * # A"; for (i = 2; i <= width; i += 2) { leaf = repeat(" ", i); for (j = 1; j <= 5; j++) {
awkという、古くからのスクリプト言語がある。（1977年生まれ。読み方は「オーク」である。エイ・ダブリュ・ケイではない）man awkをPDFに変換してみると、たったの3ページ強しかない。 $ man -t awk|pstopdf -i -o ~/Downloads/awk.pdf とてもシンプルな言語仕様ではあるが、awkには必要十分な表現力がある。特にテキストを処理する場面においては、最小限のシンプルな記述で、気の利いた処理を素早くこなす。無駄のないawkワンライナーを見ると、ある種の感動を覚える。awk以降に生まれたスクリプト言語は、少なからずawkの影響を受けていると思われる。 awkを知ることで、間違いなく幸福度は上がると思う。いつかきっと「知ってて良かった」と思える時が来るはず。もっともっと、awkを知りたくなってきた。 基本動作 awkの基本動作は、とってもシンプルである。
某所で ls に関する話題が出たので、つい awk で ls を作ってみました。 gawk には filefuncs という共有オフジェクトがあり、これをロードすることでファイル情報を取得できることから、ls -l のようなものを作ってみます。 この filefuncs を使うことでファイルの情報を簡単かつ高速に取得することができます。 ただし、UID と GID のままでも良いのですが、ここでは /etc/passwd と /etc/group からユーザー名とグループ名を見てます。 実際のコードは以下のようになります。 #! /bin/gawk -f # ls.awk @load "filefuncs" BEGIN { passwd = "/etc/passwd"; group = "/etc/group"; FS = ":"; while (getline < passwd > 0)
AWKでHTTP Serverを作るサンプルコード こちらのサイトが消えていたのでGoogleのキャッシュから拾ってきました。 httpd.awk #!/usr/bin/gawk -f # httpd.awk BEGIN { port = "8080"; http_service = "/inet/tcp/" port "/0/0"; RS = ORS = "\r\n"; for (;;) { if ((http_service |& getline) > 0) { print "HTTP/1.x 200 OK" |& http_service; print "Content-type: text/html" |& http_service; print "" |& http_service; print "<h1>Hello, world!</h1>" |& http_service;
1年の何分の何が終わったかカレンダー - 西尾泰和のはてなダイアリー にインスパイヤされて、awk で 1 年の何分の一かを計算してみます。 純粋に nawk だけでも解けないわけではないのですが、時間を扱う関数が gawk に用意されていますので、これを用いて解きます。 mktime() 関数を用いるとエポック時間に変換できます。 エポック時間を strftime() 関数の第 2 引数に入れることで日時に変換することができます。 #! /usr/local/bin/gawk -f # div_year.awk BEGIN { num_div = ARGV[1] ? ARGV[1] : 10; year = strftime("%Y"); next_year = year + 1; start_epoch = mktime(year " 01 01 00 00 00"); end_epo
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
