こっちは本物のMapReduceだ！ グーグルがAppEngine-MapReduceをオープンソースで開発中

グーグルはGoogle App Engine上でMapReduce処理を実現するオープンソースを開発中だと、先日行われたイベントGoogle I/Oで明らかにしています。プロジェクトのホームページもGoogle Code上に「appengine-mapreduce - Project Hosting on Google Code」として公開されています。

appengine-mapreduce - Project Hosting on Google Code

Reduce処理やJava版はこれから

1つ前の記事「グーグルによるMapReduceサービス「BigQuery」が登場。SQLライクな命令で大規模データ操作」では、グーグルがSQLライクな命令を用いて大規模データ処理のサービスを提供することをお伝えしました。

記事でも書いたとおり、これは内部でMapReduceを使っているかどうかは不明で、命令もSQLライクになっているため開発者、利用者ともに内部の仕組みは隠蔽されています。あくまでも「MapReduce的」なサービスといえます。

しかしオープンソースの「appengine-mapreduce」は、Google App Engine上でMapReduceの実装を目指したプロジェクトです。ホームページでは以下のように説明されています。

AppEngine-MapReduce is an open-source library for doing MapReduce-style computations on the Google App Engine platform.

AppEngine-MapReduceは、MapReuceスタイルの処理をGoogle App Engineプラットフォーム上で行うためのオープンソースライブラリです。

現在はPythonバージョンでMapperの試験的な実装が行われている状態で、今後Reduce処理やJavaバージョンの開発も行っていく意向のようです。ソースコードはApache License 2.0で公開されており、パッチの提供も呼びかけられています。

プロジェクトのホームページでは、Mapperライブラリが備えるユーザーインターフェイスのスクリーンショットが2枚公開されています。

Mapreduce system status

Specific mapreduce status

この記事は、Twitterで@kazunori_279氏からGoogle App Engine上のMapReduceを実装するプロジェクトについて情報をいただいて書きました。ありがとうございます。