無効なURLです。 プログラム設定の反映待ちである可能性があります。 しばらく時間をおいて再度アクセスをお試しください。
本日のシェル芸勉強会(http://usptomo.doorkeeper.jp/events/8339)の中でプチ話題になったjotコマンド。 イマイチ使い方をちゃんと把握していなかったので調べてみました。 ※確認・検証はFreeBSD 8.3にておこなっておりまする。 当時の認識 jot 回数 開始 終端 #シェル芸 #usptomo— くんすと (@kunst1080) 2014, 2月 15 調べてみた結果、かなり便利なコマンドのようです。seq + yesみたいな感じかな。 man jot JOT(1) FreeBSD General Commands Manual JOT(1) NAME jot ? print sequential or random data SYNOPSIS jot [-cnr] [-b word] [-w word] [-s string] [-p pre
■ Amazon::SimpleDB::ClientがRecursive dependencyでインストールできない まあ、そういうわけでamazon-simpledb-cliがインストールできなくて、 他の方法を探していたというのが昨日の真相。 % cpan Amazon::SimpleDB::Client Reading '/home/eban/.cpan/Metadata' Database was generated on Sat, 02 May 2015 01:29:02 GMT Running install for module 'Amazon::SimpleDB::Client' Fetching with LWP: http://www.cpan.org/authors/id/D/DT/DTRISCHUK/Coro-Amazon-SimpleDB-0.04.tar.gz
こんにちは、ふたたびUSP MAGAZINE編集長のまつうらです。昨日は風が炸裂してましたけど、爆弾低気圧って呼ぶんですね。ニュースの題名を見た時は「テロでも起こったか!?」とびっくりしました。 さて、その1、その2に続き、OSC 2012 Tokyo/Springでのセッションの続きとするつもりだったのですが、書いているうちにだいぶその中で語られていたネタから逸脱してしまったので、フツーに行きます。でも、その2で語らなかったJOINの話です。 INNER JOINがUNIXコマンドでできるの知らなイカ? INNER JOIN(内部結合)といえば、SQLをかじったりすれば必ず登場する概念。そのINNER JOINをするコマンドが古くからUNIXに存在する(POSIX標準である)のを知っていますか? ―「知らない」 じゃあ、UNIX系OSのターミナル用意して試してみましょう。 まずは、会員番
@hirose31 さんが「シェルスクリプトでハマった件→【募】ステキな回避方法」でお題を出されていて、それに回答してみました。 その内容はリンク先を見てもらうとして、回答の中で使ったbashのプロセス置換について書かれた記事をあまり見ないので、回答で使ったプロセス置換のことをエントリにしてみたいと思います。 最初に注意点ですが、プロセス置換の機能は、bashやzsh*1の機能でPOSIX互換の機能ではありません。そのため、使用時には、対応していないシェルでは使えませんし、bashで使う場合も /bin/sh ではなく /bin/bash を明示的に指定する必要があります。たとえば、プロセス置換を使ったスクリプト「script.sh」に対して"$ bash script.sh" というコマンドは成功しますが、"$ sh script.sh" というコマンドは失敗します。この辺りの違いは「/
Macの大きな魅力の一つは、美しいGUIとともに、ターミナルからUNIXコマンドを思う存分使えることかもしれません。 本日紹介するMacアプリ「TextBar」は、その特徴をさらに強化することができるMacアプリです。TextBarを使えば、任意のUNIXコマンドやスクリプトの出力をメニューバーに一覧表示して、テキストとしてコピーすることができる上、さらに任意の間隔で更新したり、通知を受け取ったりすることもできます。 無限の可能性 設定画面を開き、例えば「echo 'Hello'」という行を追加して有効化すると、メニューバーの右側に「Hello」と表示されます。このように自分の好きなコマンドの出力結果を、任意のリフレッシュ間隔で、さらに通知機能つきで確認することができるのです。 GitHubのリポジトリTextBar-Recipesには、さまざまなレシピが集積されています。ローカルIPアド
はじめに 各種のDB中の集計作業を行うにあたって、以下のようなデータをどうしても扱わなければならない場合は、SQLのみで完結させないことを検討しなければ、サーバリソースを大量に消費した挙句、何時まで経っても作業が完了しないということが有ります。 SQL操作だけに頼らないことを検討したい集計例 explainすることで大体の傾向はわかりますが、おおよそ以下のような要素を含む集計が対象となります。 対象のレコード数が巨大である(数百万レコード以上) DBの余剰リソースにもともと余裕が無い indexのふられていない項目で集計/joinしなければならない join対象の項目がやけに多い not in 巨大なサブクエリ is null group by like etc... ではどうするか? 集計対象のレコードを一旦ファイルに吐き出した上で、ファイルベースの処理をしてしまいましょう。 実践例1
使用したマシンのスペックは、Intel Core i7 1CPU 8コア メモリ 16GB。 このスペックで、USP研究所のシェルコマンドを使って100億件のデータの中から条件にあった人を抽出するのに0.9秒。 なぜこれほど速いかというと、データに直接アプローチできるということと、USP研究所が開発した高性能コマンドを使っているからだ。 昨日、ビッグデータを抱えるユーザの方を、USP研究所の當仲さんに引き合わせた。 當仲さんの、100億件のデータを扱うコマンドを次々と繰り出す様を見て、ユーザの方はすごく納得。 きっとユニケージを使うことになるでしょう。
For example, if I execute ps aux | awk '{print $1}' | xargs -I {} echo {} I want to let the shell sleep for 1 second between each echo. How can I change my shell command?
■ 13. col1.txtとcol2.txtをマージ #awk awk万能。 % awk '{getline col2 < "col2.txt"; print $1 "\t" col2}' col1.txt $2へ読み込むという方法もある。 % awk '{getline $2 < "col2.txt"; print}' OFS='\t' col1.txt さらにゴルフするとprintも省略できる。 % awk 'getline $2 < "col2.txt"' OFS=\\t col1.txt ■ 14. 先頭からN行を出力 #シェル芸 headをsedやawkで。 % sed -n '1,10p' hightemp.txt % sed '1,10!d' hightemp.txt % awk 'NR==1,NR==10' hightemp.txt % awk 'NR<=10' high
テスタ棒で基板の上を調査している場合、テスタ棒を当てるのにかなり神経を使っている。なぜならICなどピッチが狭い時、一歩間違えれば隣のピンとショートしてしまうかもれないし、きっちり当てないと接触不良で正しい値が得られないからだ。しかしテスタ棒を当てた後、測定値を読み取るには、どうしても視線をテスタに向けなければならない、この時にツルっとテスタ棒の位置を狂わせてしまう事故が起きがちだ。 そこで測定値をPCで読み上げるようにしてみた。うちにあるのはだいぶ昔に買ったM-6000Mというテスターで、RS-232Cで測定値を読み取ることができる。そしてVOICEBOXという便利な読み上げソフトウェアがあるので、これらを組み合わせれば出来そう。このテスタを買った当時は、どうやらRubyでも同じようなアプリを作成していたようだ(もう12年も前なのか)。今回はRustでゼロから書き直した。RS-232Cから
■ ネットオフからの入荷メールを見逃す 見逃すといっても朝来たメールを夜読んだというぐらいなんだけど、すでに買われていた。 最近メールはひどい時は1週間ぐらい読まないときもあるので、 別の手段で通知させることにした。 iftttを使うとgmailの検索機能+pocketに保存ってことができるので、 subjectを拾ってpocketで見ることにしてみた。 次はちゃんと気づけるか。 ■ バックグラウンドで動かしたプロセスをCTRL+Cで殺す方法 シェルスクリプトの中で&つけて実行してwaitで待つってのはよくやると思うが、 CTRL+Cで殺すとそいつらが残ってしまいkillしまくるというのもよくある。 そこでぐぐると、Stack Overflowでこんな記事が見つかった。 kill background process when shell script exit いろいろ方法はあるようだけ
UNIXとシェルスクリプトだけでシステムを作ってしまうという技術。 データはテキストで持ち、OSに直接データを扱わせるので、非常に高速で動作する。データは利用目的に合わせて重複をいとわず準備するので、障害対策としても有効となる。 情報処理学会にて
この手法はウオーターフォールともアジャイルとも違う、一休さん方式、床屋方式と呼んでいる方式だ。 一休さんに殿様が、屏風の虎を縛ってみよと命じたとき、一休さんは、 では縛りますから虎を追い出してくださいと言った。つまりデータを出してください、すぐ料理して見せます、ということだ。 床屋方式というのは、ざっくり要望を聞いて大雑把に仕上げ、客に見てもらって細かく仕上げるという方式だ。 この方式のポイントはユーザと開発者が一緒にいることだ。 生データを使って開発を進めるからユーザも要望をしっかりと伝えられるし進捗が日々わかる。 ユニケージ開発手法でプロジェクトを進めるにあたっては、ユーザ自身がプロジェクトの進め方をきちんと理解しなければならない、ということがよくわかった。
USP研究所では、長年蓄積してきたUNIXのシェルコマンドで直接データを取り扱うという技術を中核にパッケージ化されたuspBOAをハーバード大学とMITの学者達に説明してきた。 両大学のコンピュータサイエンスの学者達は、偉い先生も含めて、子供のように素直に、目を輝かせて質問してきたという。 日本だったら、お前は誰だ?そんな会社知らん?実績は?と、本質でないことばかり聞かれるが、彼らは一気に本質に迫ってくる。 こうした彼らの態度に接して思ったことは、日本人の矮小さ、病的気質、子供っぽさだったという。もっとおおらかに、もっと本質的に、素直な興味を持って物事に接したら、素晴らしい社会が創れるのにと思ったという。 ハーバードもMITも共同してuspBOAを使ってみようというところまで話が進んだという。 さらにC言語を開発したブライアン・カーニハンにも引き合わせようという話になったという。 これから
AWSでサーバを運用する際にはEC2からAWS CLIを使って他のAWSのサービスと連携したりすることがあると思いますが、AWS環境ならではのシェルスクリプトを集めてみました。AWS CLIのバージョンは1.7.13、Pythonのバージョンは2.6.9を使っています。私はAmazon Linuxで動作を確認しています。 目次 準備する AWS CLIのインストール AWS CLIのアップデート aws configureでセットアップする IAM roles for EC2 instancesに関して 監視系 CloudWatchでカスタムメトリクスを設定する ZabbixからCloudWatchの値を取得する プロセス監視する バックアップ系 AMIとEBSのバックアップを作成する RDSのスナップショットを作成する S3のフォルダを削除する 便利スクリプト系 Route53の自動登録
データフロープログラミング(英: dataflow programming)は、データフローの原理とアーキテクチャに準拠したプログラミングパラダイムであり、コンピュータプログラムをオペレーション間のデータフローの有向グラフとして模型化する。データフロー言語は、関数型言語の特徴を共有しており、より数値処理に適したものになっている。 データフロー言語は、命令型プログラミングモデルなどの他の主要のプログラミング言語とは対照的である。命令型プログラミングではプログラムは一連の命令文で構成され、データの流れは見えない。この違いは瑣末に思われるかもしれないが、パラダイムとしての違いは非常に大きく、データフロー言語はマルチコアシステムやマルチプロセッシングシステムを自由に使える。 プログラミングにおける重要な概念として「状態」がある。状態とは基本的には、システムの各種条件(変数)の測定値のスナップショッ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く