"MapReduce" は Google のバックエンドで利用されている並列計算システムです。検索エンジンのインデックス作成をはじめとする、大規模な入力データに対するバッチ処理を想定して作られたシステムです。 MapReduce の面白いところは、map() と reduce() という二つの関数の組み合わせを定義するだけで、大規模データに対する様々な計算問題を解決することができる点です。 MapReduce の計算モデル map() にはその計算問題のデータとしての key-value ペアが次々に渡ってきます。map() では key-value 値のペアを異なる複数の key-value ペアに変換します。reduce() には、map() で作った key-value ペアを同一の key で束ねたものが順番に渡ってきます。その key-values ペアを任意の形式に変換すること
一昔前に、GoogleMapsから郵便番号に経度緯度情報に変換するプログラムを書きました。そのデータを使おうと思ったのですが、見当たりません。確かブログにコード書いていたなぁと思って、過去の記事「郵便番号から緯度経度情報を取得する」を見たのですが、我ながらこれはひどいｗ 緯度経度を取るには、住所から検索する必要があります。郵便番号直では出来ないので注意してください。一連のデータを作る方法は次回書きます。 続きを書いていませんね。と言う訳で、その当時どんなソースを書いたか謎ですが、さくっともう一度作りました。以下手順とプログラムです。 まずは郵便番号データをダウンロードしてきて、必要な形に整形します。 utf8に変換して、必要な項目のみピックアップします。ついでに、少しだけ項目の補正をします。補正処理はもっともっと色々しないといけないことがあるのですが、ここでは割愛します。 nkf -w K
I am a Perl hacker. I have written parts of the core, created CPAN modules and written tons of perl code. In fact I am addicted to it ; or rather, CPAN. I have been wanting to play around with Google App Engine, but I haven’t had time to get up to speed in Python. Today at OSCON I met up with Brad Fitzpatrick, who told me he had permission from Google to talk about and work on a Perl on App Engine
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
