はじめまして。今年の5月に入社した勝間@さがすチームです。 入社してからは、なかなか大変なことも多いですが、最近はお酒好きが集まって月曜から飲み合う 「勝間会」なるものも発足して、仕事面でも仕事以外の面でも密度の高い毎日を過ごしています！ さて、僕は「さがす」チーム所属ということで、普段はレシピを「さがす」ユーザの満足度を上げるために、 クックパッドの検索まわりについて、いろいろな開発を行っています。 一方で、ユーザの「さがす欲求」について深く知るために、大規模なデータ解析を行い、欲求の分析を行う機会も増えてきました。 ところが、クックパッドのログは膨大な数があるので、一口のデータ解析と言っても通常のバッチ処理だと間に合わないため、 分散処理環境の必要性が高まってきました。 そこで、まずは手軽に試せる分散処理の王道ということで、最近ではHadoopを使ったデータ解析環境を整備しています。
2008年はクラウドコンピューティングの年になる。そのようなことを昨年末に書いた覚えがある（この記事）。バズワードとしてWeb2.0が陳腐化してきた昨年あたりから脚光を浴び始めたのが，クラウドコンピューティングである。 確かに旬のテーマになってきた。でもしばらくウォッチしていないと，方向感覚を失ってしまっていた。クラウドコンピューティング市場/技術の全体像をビジュアルな図で紹介しているブログに出会ったので，取り上げて見る。 ドイツの技術リサーチャーMarkus Klems氏 (Research assistant at Germany-based FZI Research Center for Information Technology)のブログである。最初の図は，クラウドコンピューティングのプレーヤーを示している。 Merrill Lynchの“The Cloud Wars: $100
Googleではその超巨大なコンピュータネットワークを使って、データ処理が分散化されている。これにより、大量のデータを瞬時に処理することが可能になっている。この分散処理システムはMapReduceと呼ばれており、Googleの基盤を支えるコア技術の一つだ。 処理状態を確認するコンソール ごく小規模なシステムであればニーズは発生しないかも知れないが、数十台、数百台のコンピュータを結びつける上で分散化処理は欠かせない技術だ。そこでMapReduceをオープンソース実装したこちらを紹介しよう。 今回紹介するオープンソース・ソフトウェアはSkynet、Rubyで実装されたMapReduceのオープンソース実装だ。 Skynetは多数のワーカーを立ち上げ、それらが互いに監視し合うことで障害発生時にも柔軟にタスクの受け渡しが可能になっている。単一障害点はなく、マスタサーバという位置づけのものですら他の
はじめに この連載では、大規模分散計算フレームワーク「Hadoop」と、その上につくられた大規模分散データベース「hBase」の仕組みと簡単なサンプルアプリケーションを紹介します。HadoopとhBaseは、Googleの基盤ソフトウェアのオープンソースクローンです。機能やコンセプトについては、Googleが発表している学術論文に依っています。 これらの学術論文によると、Googleでは大規模分散ファイルシステム「Google File System」、大規模分散計算フレームワーク「MapReduce」、大規模分散データベース「BigTable」、分散ロックサービス「Chubby」という4つのインフラソフトウェアが使われています。 図1にGoogleの基盤技術間の依存関係、そしてそれに対応するOSSの対応関係を示しました。まずは対応するGoogleの基盤技術それぞれの機能や特徴をざっくりと
Googleを支える技術 2008-03-25-1 [BookReview] 献本頂きました。ありがとうございます。 そうでなくとも絶対買う本ですが。 ■西田圭介 / Googleを支える技術 - 巨大システムの内側の世界 結論から言いますと、 Google のバックエンドの技術について 興味のあるIT系エンジニアや学生で、 英語よりも日本語を読むほうがはやい人は必読です。 グーグルについての技術的なトピックが 日本語でさくっと読めます。 Google 社員による英語論文やドキュメントを情報源とし、 それらを咀嚼して平易に解説しています。 「情報系の大学3年生程度の予備知識」を前提に 書かれているとのことで、 情報系の基礎的な語彙が分かっていれば、 確かに難解な話はありません。 数式も出てこないです。 内容紹介 第一章は検索の話で、クロール、インデックス、 ランキング、と Google に
MapReduceは，Google社内でクラスタ上のデータ処理に用いられている並列分散プログラミングモデルである．ちょうど今サンフランシスコで開催されるOSDI 2004に発表予定の論文が，すでに公開されているが，これが非常に面白い． http://labs.google.com/papers/mapreduce.html 概要は次のような感じ． データ処理を，MapとReduceの2つに分割する．なお，この名前は同様な機能を持つLispの関数名が由来． Mapでは，あるキーと値の組から，中間のキーと値の組のリストを生成し，ローカルディスクに書き込む． Reduceでは，Mapが生成したキーと値の組をリモートディスクから読み出し，値のリストを返す． MapとReduceは，複数のワーカによって分散したマシン上で並列に実行される． たとえば，細分化された入力ファイルをMapを処理するワーカが
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
