Hadoop→Redshift→その先は？――IoT／ハイブリッド時代の最新トレンドを整理する：“仕事で本当に使える”クラウドデータベースの要件 （1/2 ページ） 人間や機械の活動をデータとして取り込むIoTの出現で、クラウド上の「データベースサービス」をエンタープライズでも利用する場面が増えてきた。データベースとクラウドの関係、データ活用のリアルを、ITジャーナリスト 谷川耕一氏の視点でひも解く。 「クラウドデータベース」「ビッグデータ」は使えないバズワードだったのか システム開発・運用の別を問わず、「クラウドファースト」という言葉が定着しつつある。 とはいうものの、まだクラウド化が積極的に行われていないのがデータベースの領域だろう。データベースに求められるのはパフォーマンスやデータの厳密な管理、信頼性の確保である。一方、多くの場合でクラウドに求められるのは、仮想化や統合・集約、システ
少し前にログの話を書いた http://d.hatena.ne.jp/naoya/20130219/1361262854 ときに、Treasure Data については後日にもう少し詳細に書くと言ったので書くとしよう。 近頃 Treasure Data (以下、時折 TD) という名前をちらほら聞いたことがある人は多いのではないかと思います。「ビッグデータのクラウドサービスである」とか「日本人が創業したシリコンバレーのベンチャー」、あるいは Yahoo! 創業者の Jerry Yang が投資したとか、Fluentd と何か関係があるといった文脈などなど。 けど、具体的に Treasure Data がどういうサービスで、どういう機能を持っていて、どんな場面で利用されるものなのかはまだあまり良く知られていないかもしれない･･･ようにも見える。今日はその辺から少し紹介していこうかなと思う。
Hadoop is an open-source software framework for distributed storage and processing of large datasets across clusters of computers. It allows for the distributed processing of large datasets across clusters of nodes using simple programming models. Hadoop can distribute data and computations across a cluster of commodity machines and scale to thousands of nodes, handling failures in an automatic wa
「NoSQLはソーシャルメディアのようなネットアプリケーション向けであり、企業内のデータベースとしては向かない」。これまでNoSQLデータベースは一般にそう思われていました。 しかしオラクルは今月、サンフランシスコで開催した「Oracle OpenWorld 2011」でビッグデータ市場への参入を表明。製品として、企業向けデータベースとしてキーバリュー型データストア「Oracle NoSQL Database」と「Apache Hadoop」を搭載した「Oracle Big Data Appliance」を発表しました。 オラクルは企業が使うデータベースとしてNoSQLやHadoopをどのように位置づけようとしているのでしょうか？ 昨日10月25日に都内で開催された日本オラクル主催のイベント「Oracle Database/Exadata Summit」において、米オラクルでデータベース製
米マイクロソフトは2011年10月12日（米国時間）、オープンソースソフトウエア（OSS）の分散バッチ処理ソフト「Hadoop」の中心的な開発企業の一つである米ホートンワークスと提携して、Windows ServerとWindows Azure向けのHadoopディストリビューションを提供すると発表した。2011年末までに、Windows Azure向けHadoopのCTP（コミュニティ向け技術評価版）をリリースする。 Hadoopは、米グーグルの「MapReduce」や「Google File System」を参考にした分散バッチ処理ソフトで、米ヤフーが中心となって開発してきた。ホートンワークスは、ヤフーのHadoop開発チームが今年6月に独立した企業である。またHadoopは現在、Apacheソフトウエア財団のトッププロジェクトである。 MSとホートンワークスは共同で、Windows向
［速報］オラクル、HadoopとNoSQLを搭載した専用マシン「Oracle Big Data Appliance」を発表。Oracle OpenWorld 2011 米オラクルは10月4日（現地時間10月3日）、ビッグデータのための専用マシン「Oracle Big Data Appliance」を、サンフランシスコで開催中のOracle OpenWorld二日目の基調講演で発表しました。 キーバリュー型のデータストア「Oracle NoSQL Database」と「Apache Hadoop」および関連ソフトウェアを、データベースマシンとして開発されたOracle Exadataのハードウェアに載せたものです。 これまでビッグデータに対して特別なアナウンスをしてこなかったオラクルが、ビッグデータ、そしてコモディティサーバによる分散処理が主流になっているHadoopに対しても、ハードウェア
Facebookは大規模なデータ処理の基盤としてHBaseを利用しています。なぜFacebookはHBaseを用いているのか、どのように利用しているのでしょうか？ 7月1日に都内で行われた勉強会で、Facebookのソフトウェアエンジニアであるジョナサン・グレイ（Jonathan Gray）氏による解説が行われました。 解説はほぼスライドの内容そのままでした。当日使われた日本語訳されたスライドが公開されているので、ポイントとなるページを紹介しましょう。 Realtime Apache Hadoop at Facebook なぜリアルタイムデータの分析に、Hadoop/HBaseを使うのか？ MySQLは安定しているが、分散システムとして設計されておらず、サイズにも上限がある。一方、Hadoopはスケーラブルだがプログラミングが難しく、ランダムな書き込みや読み込みに向いていない。 Faceb
ビッグデータ時代の救世主「Hadoop」とは 「Apache Hadoop」は今、最も注目を集めている技術の1つです。Hadoopとは、大量のデータを手軽に複数のマシンに分散して処理できるオープンソースのプラットフォームです。 Hadoopを活用している企業は年々増え続けていて、不可欠な技術になりつつあるといえるでしょう。 本連載では、Hadoopとは何か、Hadoopがどう活用できるのかということを、「テキストマイニング」に焦点を当てて解説していきたいと思います。 重い処理を複数のマシンに分散させる 複数のマシンに処理を分散させるには、プロセス同士の通信、監視、障害時の対応などを考えなければならず、プログラマにとってハードルが高いものです。しかし、Hadoopはそういった面倒くさい処理を一手に引き受けてくれ、プログラマは、やりたい処理だけに集中できます。 例えば、Hadoopを使うと、1
ウルシステムズとイーシー・ワン（EC-One）は2011年5月25日、10月3日付けで経営統合すると発表した。EC-Oneの主力事業であるシステムインテグレーション（SI）事業を、ウルシステムズに統合する。併せて、ウルシステムズの「Hadoop」関連部門をEC-Oneに移す。EC-OneはHadoop専業会社となり、社名を「ノーチラス・テクノロジーズ」に変更する。 ウルシステムズは、オープンソースソフトウエア（OSS）の分散バッチ処理ソフトであるHadoopを使ったシステム構築を行っており、2011年3月には自社で開発した基幹バッチ用Hadoopフレームワーク「Asakusa Framework（Asakusa）」をOSSとして公開した。EC-Oneは、分散システム管理ソフト「Monkey Magic」のHadoop対応を進めている。 Asakusaの開発チームとMonkey Magicの
this document is for #tokyowebmining held at 2011/04/10Read less
overlasting.net 2019 Copyright. All Rights Reserved. The Sponsored Listings displayed above are served automatically by a third party. Neither the service provider nor the domain owner maintain any relationship with the advertisers. In case of trademark issues please contact the domain owner directly (contact information can be found in whois). Privacy Policy
『モバゲーの大規模データマイニング基盤におけるHadoop活用』－Hadoop Conference Japan 2011－ #hcj2011 2011/02/22 [登壇後エントリ] ：" 「モバゲーの大規模データマイニング基盤におけるHadoop活用」－Hadoop Conference Japan 2011 #hcj2011 で登壇してきました " http://d.hatena.ne.jp/hamadakoichi/20110222/p1Read less
米Yahoo!が大規模分散処理のフレームワーク「Hadoop」の次世代版を開発することを、ブログYahoo! Developers Networkにポストしたエントリ「The Next Generation of Apache Hadoop MapReduce」で明らかにしました。 Yahoo!によると、現在のHadoopの実装では1クラスタあたり4000台程度でスケーラビリティの限界にあたるため、アーキテクチャを見直して信頼性や可用性を高めると同時に、1万台から2万台を超えるクラスタのスケーラビリティを実現したうえで、従来のHadoopとアプリケーションの互換性を保つ予定とのこと。さらに、マルチテナント対応、多言語プログラミングのサポートなども実現する予定のようです。 Apache Hadoopコミュニティと協力して開発を進める Yahoo!はブログで次のように書いています。 The c
Quoraでこんな質問を見つけたので適当に翻訳してみました。Would Hadoop be different if it were coded in C/C++ instead of Java? How? - Quora 回答1実際のところ難しいけど、考えてみるのは楽しいね。 実行時間は速くなると思うけど、それが決定的な違いになるかどうかはわからない。 セキュリティやいくつかの機能は実装しやすくなるかもしれない 他のプログラミング言語への対応はしやすくなる。Java/Pipes/Streamingを選ぶ代わりに、コンパイルしてリンクすればいい。 コード量は非常に大きくなる。エラーチェックのためにね。 コードベースが大きくなれば、開発スピードは遅くなる。Hadoopが今のように成長したかどうかわからない。 Pigは登場しただろうか？ 私にはそうは思えない。回答2は略 回答3C/C++とJa
もうこの手の話題は出尽くした感がありますが、最近Hadoopについて考えることが多いので、エントリにしてみます。なお、ここではベーシックなMapReduce+HDFSのことをHadoopと呼ぶことにします。 HadoopとはHadoopとは言わずと知れたGoogleのMapReduce/GFSのオープンソースのクローンです。MapReduceではプログラマはMapとReduceという2つの関数を書くだけで、並列分散処理をすることができます。これは(1) データを実際に持つマシンにプログラムを配布する (2) MapとReduceをつなぐShuffleフェーズでキーをグループ化してソートする、(3) 障害時のフェールオーバーやレプリケーション、といった処理をフレームワーク側が受け持つことによって、プログラマ側の負担を減らすものです。GFSに対応するHDFSにはファイルをクラスタに分散して保存
マイクロソフトは、Windows HPC Serverのクラスタ上で動作する「Dryad」のベータ公開を開始したことを発表しました。 Dryad Beta Program Starting - The Windows HPC Team Blog - Site Home - TechNet Blogs Dryadは、オープンソースとして公開されている大規模並列バッチ処理ソフトウェアのHadoopに対抗するものといわれています。Hadoopは、いままで高価格なハードウェアとソフトウェアが必要とされていたビジネスインテリジェンスなどの大量データ分析を、安価なハードウェアのクラスタとオープンソースという破壊的な低価格と高い処理能力をもたらしたことで注目されています。 DryadとHadoopの違いは？ 発表によると、今回ベータ公開されたのは、Windows HPC Server 2008 R2 S
Hadoop 0.21ではCounterでGCに使っている時間が見れるようになりました。 こんな感じです。 この例では5秒程度ですが、ジョブによってはもっとGCに時間を使っている場合があり、 もっと詳細を調べてチューニング出来ないかという話です。 まずはGCのログを取ります。 <name>mapred.child.java.opts</name> <value>-Xloggc:/tmp/hadoop-mikami/@taskid@.gc -Xmx1024m</value> このように-Xloggc で指定した場所にログを取れます。 @taskid@ には attempt_201010311624_0037_m_000000_0 みたいな感じでattempt_id が入ります。 以下が先程のジョブのあるMapタスクでのGCログです 0.164: [GC 3072K->416K(889
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
