データセンター視点で比較したクラウドの内側
•
21 likes•5,992 views
日経コンピュータ編集部の中田が、日本 Java ユーザグループ（JJUG）が開催した「JJUG Cross Community Conference 2009 Fall」で行った講演のスライドです 連絡先は anakada@nikkeibp.co.jp
データセンター視点で比較したクラウドの内側
- 1. 日本 Java ユーザグループ（JJUG） 2009年10月8日 クロスコミュニテゖカンフゔレンス 2009 Fall データセンター視点で比較した クラウドの内側 日経コンピュータ編集部 中田 敦
- 2. 講演者 中田 敦（なかだ あつし） 「日経コンピュータ」編集部所属 1998年4月 日経BP社入社、「日経レストラン」編集部に配属 2000年9月 ITニュースサト「BizTech」編集部に異動 2002年10月 「日経Windowsプロ」編集部に異動 2006年1月 ITニュースサト「ITpro」編集部に異動 2008年4～6月 米国でクラウド・コンピューテゖング事情を取材 2008年10月 「日経コンピュータ」編集部に異動 2009年4月 「クラウド大全」刊行
- 3. 日経コンピュータの クラウド担当 2009年 7月8日号 2009年 4月29日号 2008年 11月15日号
- 6. 本日の内容（1） 1. Googleは“異形”のメーカー 世界屈指のサーバー生産台数、基盤ソフトは全て内製 2. コンピュータ業界の主導権は、メーカーからサービス事業者へ Microsoftもサーバーの自社開発開始 Amazon.comは「ITベンダー」 3. コンテナ型データセンターの中身 Yahoo!米国本社駐車場で運用するコンテナ型データセンター
- 7. 本日の内容（2） 4. クラウドのコスト構造 Google、Microsoft、Amazonのサーバー台数 データセンターの消費電力効率は、コンテナ型で「PUE=1.2」 標準型で「PUE=1.35～1.45」が標準に 5. クラウドはGoogleが定義した スケールゕウト、ハードウエゕに一切頼らないフォールトトレランス、 キー・バリュー型データストゕ、関数型言語、 エラー忘却型コンピューテゖング、Warehouse Scale Computing 6. Googleを追従するAmazon、Microsoft、Salesforce.com 第一世代はGoogle、第二世代はAmazon、第三世代はMicrosoft 「Oracleが無くなっても問題ない」と言い切るSalesforce.com
- 8. 問題意識 ユーザーはなぜクラウド・コンピューティングのサービスを使うのか？ （誤解） Webブラウザで使えるから （誤解） 安価だから （正答） クラウドが提供するゕプリケーションの方が高速だから デスクトップ検索 Web検索 Outlook 2007 Gmail カーナビ Google Maps RSSリーダー Googleリーダー Windowsフォトギャラリー Picasa Webゕルバム
- 9. 「サーバーで動かすソフトウエゕ」の どこがいいのか？ 例えば Gmail ●巨大な容量 無料版でも最低5Gバト ●高速な検索 どんなに大量にメールが あっても1～2秒で検索 ●どこからでも使える Webブラウザ 携帯電話機
- 10. 「サーバーで動かすソフトウエゕ」の どこがいいのか？ 例えば Google Maps ●巨大な容量 全世界の地図 全世界の航空写真 主要都市の街頭写真 ●高速な検索 全世界の地図を 1～2秒で検索 ●どこからでも使える Webブラウザ 携帯電話機
- 11. 「サーバーで動かすソフトウエゕ」の どこがいいのか？ Webブラウザ以外でのゕプリケーション利用が可能に Windows Mobile 携帯電話機 タッチパネルで Google Mapsが 利用可能
- 12. パソコン用ソフトウエゕの危機 単体プロセッサの性能向上が止まった Intel製プロセッサの最高動作周波数 • Pentium 4 / 3.8GHz（2004年11月） 現状のハエンド・プロセッサ • Core i7 / 3.33GHz（2009年6月） プロセッサは「マルチコゕ」「メニーコゕ」化へ
- 13. パソコン用ソフトウエゕの危機 単体ハードデゖスクの性能向上が止まった 3.5型ハードデゖスクが毎分1万5000回転に到達した時期は？ • 2000年2月 現状のハードデゖスク・ランナップ • ノートPC：4200回転～7200回転 • デスクトップPC：7200回転 • サーバー：7200回転～1万5000回転）
- 14. なぜサーバーの方が速いのか？ Googleには 大量のサーバーが あり 大量のサーバーで 並列分散処理をしているから
- 15. 問題意識（つづき） Googleが提供するアプリケーションは、なぜ高速なのか？ Ken Thompson氏（ AT&Tベル研究所でUNIXを開発した一人。2006年 からGoogleに所属）が日経コンピュータのンタビューに答えて曰く、 －－－ I guess for Google it is some sort of Cloud Computing, some sort of – not Cloud Computing but a Cloud Computer; something that is always there and always be accessed and always store data and always give it back. I think that is very hard. 重要なのは、Googleに「クラウド・コンピュータ」があるということ では、「クラウド・コンピュータ」とはどのようなものなのか？
- 16. Googleは異形のメーカー
- 17. サーバー生産台数・世界3位 New York Times 2006年7月3日 Dell、Hewlett-Packard、IBMに 続いて「台数ベースで世界4位」 日本の経営雑誌 「FACTA」2009年9月号 「スマートグリッド」でも出し抜 かれる日本 New York Times 2006年7月3日 －－傍聴し続けるグーグルは自社 「A Search Engine That's Becoming an Inventor」 サーバーを内製化している。生産 Google was the world's fourth-largest maker 台数で見ればグーグルは世界3位の of computer servers, after Dell, Hewlett- サーバーメーカーになる Packard and I.B.M.
- 18. Googleは異形のメーカー 英Financial Timesの Richard Waters記者が公開した 3月6日のブログ －－－－－－－－－－－－－－－－－－ 米Microsoft Researchのトップである Rick Rashid氏によれば、全世界で出荷 されるサーバーの20％を、ごく少数の企 業が購入している。Microsoft、Google、 Yahoo!、Amazon.comだ。 －－－－－－－－－－－－－－－－－－ 4社で150万台のサーバーを1年で購入？
- 19. ネタ本は The Datacenter as a Computer
- 20. Googleのトップエンジニゕによる The Datacenter as a Computer Luiz André Barroso氏 http://www.barroso.org/ GoogleのDistinguished Engineer Urs Hölzle氏 Googleのデータセンター運営担当副社長 「Google's First vice presidenf ot engineering」
- 21. Googleは 異形のメーカー Googleが4月1日に開催した Efficient Data Center Summit ・2005年11月からコンテナ利用 ・コンテナは水冷 ・冷却に使った水は、 「冷却塔」（チラー）で再冷却 ・2009年4月にベルギーで 「チラーレスデータセンター」 運用開始 ・サーバーは自作 ・12Vのバッテリー内蔵 ・UPS（無停止電源装置）は 使用しない http://www.google.com/corpor ate/green/datacenters/summit. html
- 23. サーバー自作の目的 Pentium 4世代のマザーボード？ ↓ つまり2005年から、サーバーを自 作している（今はどうなってるんだ ろう……） ノートPCのように「12V」の バッテリーを内蔵 米CNET NEWS 2009年4月1日から引用 「Google uncloaks once-secret server」
- 24. サーバー自作の目的 日経コンピュータ2009年9月2日号 「グーグルは異形のメーカー」
- 25. データセンター 効率化の指標 PUE（Power Usage Effectiveness） データセンター全体の消費電力をサーバー などのIT機器の消費電力で割った値 全部IT機器が消費 ＝ PUE 1.0 半分を冷却装置などが消費 ＝ PUE 2.0
- 26. データセンター 効率化の指標 日本の標準的なデータセンター • PUE 2.3～2.5 日本IBMの最新鋭データセンター • PUE 1.8 日立製作所の最新鋭データセンター • PUE 1.6
- 27. データセンター 効率化の指標 Google PUE 1.21 （6カ所平均） PUE 1.13 （あるDCで）
- 28. 業界の主導権は メーカーからサービス事業者へ 日経コンピュータ 2009年7月8日号 クラウドコンピューテゖング 8つの新しい真実
- 29. Amazonの雲は どれぐらい巨大？ 米Rackable Systemsの 年次報告書 （Annual Report）から類推可能 ●ご注意 Rackable Systemsは09年5月 米SGIを買収し、社名を「SGI」に 変更しております
- 30. Rackable Systems （現：SGI）とは？ 米Microsoftや米Amazonに高密度 サーバーを供給するサーバー・メーカー ←コンテナサーバーもやってます
- 31. Amazonの雲は どれぐらい巨大？ ●Rackableの主要顧客の売上高が、全体に占める割合 2008年12月期 2007年12月期 2006年12月期 Amazon 35％ 16％ 10％未満 Microsoft 14％ 36％ 34％ Yahoo! 10％未満 12％ 26％ ●Amazonが調達した実数（推定） 総額 Amazonがしめる割合 Amazonの調達 Rackableの売上高 2億4743万ドル 35％ 8669万ドル （2008年12月期） Rackableの サーバー出荷台数 6万8490台 35％ 2万4000台 （2008年12月期） Amazon.com、Rackable Systemsの年次報告書から日経コンピュータが作成
- 32. Amazonの雲は どれぐらい巨大？ ●Amazonの投資動向（2008年12月期） Amazonの固定資産購入 Rackableからの調達額 割合 （社内で使用するソフトウエアや Webサイトの開発を含む） 3億3300万ドル 8660万ドル 26％ Amazon.com、Rackable Systemsの年次報告書から日経コンピュータが作成 調達するサーバーの大半はRackableか？ 年間サーバー調達台数：2万4000台以上 運用するサーバーの台数は、7～10万台規模か？
- 33. 米Yahoo!本社の コンテナ型データセンター 海上輸送などに使用す る国際規格の幅8フゖー ト（2メートル44セン チ）、長さ40フゖート （12メートル20セン チ）のコンテナ
- 35. 米Yahoo!本社の コンテナ型データセンター ラックとラックの間にある 銀色の箱は「ラジエター」。 中に水が循環する細いパ プが張り巡らされています。 中にある大きなフゔンで風 を起こして、サーバーが発 する熱を流し込み、ラジエ ターの中を流れる水によっ て熱を冷やす仕組み
- 37. 米Yahoo!本社の コンテナ型データセンター コンテナには水を供給・ 排出するホースが合計2 本接続されています。 導入された水によって サーバーの熱を冷やし、 温まった水がコンテナ外 に排出される仕組み
- 38. コンテナ型データセンターの規模 米SGI「ICEcube」の仕様（コンテナ1台当たり） サーバー台数 最大2400台 プロセッサ数 最大4800個 プロセッサコゕ数 最大2万2400個 ストレージ容量 最大11ペタバト 水の温度 セ氏18度
- 39. Microsoftの場合 シカゴの最新鋭データセンター コンテナ 200台 サーバー台数 約50万台
- 40. Microsoftの場合 シカゴの最新鋭データセンター コンテナ 200台 112台 サーバー台数 約50万台 22万4000台 （コンテナのみ） 「Data Center Knowledge」より引用
- 41. Microsoftの場合 「第4世代データセンター」 構想 コンテナを全面採用 もはや「建屋」すら無い 2008年12月に発表
- 42. 各社から続出する コンテナ型データセンター IBM HP DELL
- 43. シカゴデータセンターの 規模感 日本のPCサーバー出荷台数（2007年度） • 55万300台（ノークリサーチ調査） Microsoftのシカゴ・データセンター • 30～40万台（コンテナ＝20万台、その他＝10～20万台？） シカゴDCの消費電力 • 60Mワット（PUE = 1.2 → IT機器の消費電力は50Mワット） 50Mワットの年間電気料金 • 110億円（東京電力/家庭用電力の場合）、10～20億円（シカゴの場合） 1サーバー当たりの消費電力 • 100～150ワット （3月にデルが発表したAtom搭載サーバー（未発売？）は30W！）
- 44. Googleの 非常識データセンター チラー （水冷用の冷却水を冷やす装置）の 無いデータセンターを ベルギーで「運用中」 PUEは「1.1以下」 米Googleの2009年 4月1日発表資料 「Insights into Google's PUE Results」より
- 45. Googleの 非常識データセンター データセンター省電力化の 手段の一つとして サーバールームの温度を 上げればいい 米Googleの2009年5月の論文 「The Datacenter as a Computer」より
- 46. Googleの 非常識データセンター セ氏50度未満なら ハードデゖスク温度と故障率に 相関関係は無い 米Googleの2007年2月の論文 「 Failure Trends in a Large Disk Drive Population」より
- 47. クラウドのコスト構造 Microsoftで1人の管理者が管理するサーバー台数 • 5000台 Amazon.comでのサーバー管理ポリシー • 壊れたサーバーはその時点で修理/交換しない • 定期的なメンテナンス時にのみ交換する
- 48. クラウドは Googleが定義した 日経コンピュータ 2009年9月2日号 「グーグルは異形のメーカー」
- 49. クラウドは Googleが定義した ゕプリケーションサービス Google Web検索 ログ解析 Gmail Maps 論文： プログラミング言語 Bigtable: A 論文： Sawzall Distributed Storage Interpreting the Data: System for Structured Parallel Analysis with Data（2006年） Sawzall（2005年） 並列プログラミングモデル キー・バリュー型データストゕ MapReduce BigTable 論文： 論文： The Google File MapReduce: System（2003年） Simplified Data 分散フゔルシステム Processing on Large Google File System（GFS） 論文： Clusters（2004年） The Chubby lock 分散ロックシステム service for loosely- ホワトペーパー： coupled distributed The Datacenter as a Chubby systems（2006年） Computer. An Introduction to the Design of Warehouse- 独自に建造したデータセンター 論文： Scale Machines（2009 Failure Trends in a 年） Large Disk Drive グーグルプラットフォーム Population（2007年）
- 50. Datacenter as a Computer 名言集 自前主義 • 巨大なクラスタ（システム）を保有し ないサードパーテゖ・ソフトウエゕ・ プロバダが、ソフトウエゕのテスト やチューニングを十分な水準で行うの は困難だ」
- 51. Datacenter as a Computer 名言集 自前主義 • OSレヤーがあるとすれば、それは「Cluster-Level Infrastructure」のことだ • Datacenter must be a general-purpose computer system. • There is substantial risk that by the time a specialized hardware solution is implemented, it is no longer a good fit
- 52. Datacenter as a Computer 名言集 スケールゕウト • ProLiant is about four times more cost- efficient than the Superdome.（ストレージ も含むと20倍） • （我々の）ワークロードはあまりに巨大なので、 どんな大きなSMPサーバーでも1台ではまかな いきれない（レテンシはLANに集約される）
- 53. Datacenter as a Computer 名言集 スケールゕウト • 価格性能比を考えると、安いCPUしか 使わない • プロセッサ使用率は高いほど消費電力 効率が良い → 安い・遅い方が良い
- 54. Datacenter as a Computer 名言集 メニーコゕ • メニーコゕが進めば、サーバーが数十台入る「ラック」に、 現在のデータセンターに匹敵するマシンが収まることにな る。「Warehouse Scale Computinge（WSC）」は全デー タセンター運営者の現実となる WSC • Computation is moving into the cloud, and thus into WSCs
- 55. Datacenter as a Computer 名言集 データセンターの基本 • データセンターの建造コストは「10～20ドル /W」（建造コストは消費電力で測れ） • Tier IIは「99.7％」、Tier IIIは「99.98％」、 Tier IVは「99.995％」 • データセンターの最適温度は「摂氏25～27度」 • 「サーバーPUE」も測れ
- 56. Datacenter as a Computer 名言集 Corrupted （喪失） •データが再生成できない、失われた、喪失した状態 Unreachable （未到達） •サービスがダウンしている、ユーザーがサービスに到達できない Degraded （劣化） •サービスは利用できるが、状態が劣化している Masked （隠蔽） •障害は発生しているが、ソフトウエゕ/ハードウエゕによる耐障害対策によって ユーザーから完全に見えない状態になっている
- 57. Datacenter as a Computer 名言集 ソフトウエゕベースの耐障害性対策 • MTBF（平均故障間隔）が30年というサー バーがあったとしても、それが1万台あれば1 日に1台は故障が起きる • いくらRAIDでデゖスクを冗長化しても、電源 装置やストレージOSなどが「単一障害点」と して残る
- 58. Datacenter as a Computer 名言集 ソフトウエゕベースの耐障害性対策 • もっともECC付きDRAMは使っている。2000 年までECCを使っていなくて酷い目にあった • In summary, near perfect reliability is not universally required in Internet services.
- 59. ソフトウエゕによる 耐障害性対策 「The Datacenter as a Computer」に おけるグーグルの主張 「MTBF（平均故障間 隔）が30年（30年に1年 か故障しない）という 「いくらRAIDでデゖスク 複雑化するソフトウエゕは自社 サーバーがあったとして を冗長化しても、電源装 開発でカバー も、それが1万台あれば1 置やストレージ装置のOS 日に1台は故障が起きる」 などが『単一障害点』と して残る」 ソフトウエゕによる ハードウエゕによる 耐障害性対策 耐障害性対策 ・サーバーのクラスタリング ・データのレプリケーション ・プロセサの多重化 ・RAIDによるミラーリング、パリテゖ その結果 付きストラピング その結果 △低価格ハードウエゕが利用可能 △ハードウエゕ利用率の向上 ▼ハードウエゕ投資の高騰 △運用の効率化 ▼ハードウエゕ利用率の低下 （故障したサーバーは交換するだけ） ▼消費電力効率の低下 ▼ソフトウエゕの複雑化
- 60. ソフトウエゕによる 耐障害性対策 分散システムの実装に「関数型言語のゕデゕ」を投入 手続き型言語でマルチスレッドを実行する場合 関数型言語でマルチプロセスを実行する場合 メモリー メモリー データ データ 各スレッドがメモ コピー リーを共有する コピー コピー データ データ データ スレッド スレッド スレッド プロセス プロセス プロセス メッセージ交換 各プロセスは自分用に データをコピーして計 算を行う
- 61. ソフトウエゕによる 耐障害性対策 「関数型言語のゕデゕ」を拝借して開発した「MapReduce」の仕組み Map処理で はデータ抽 出を行う Reduce処理 GFS 抽出 では計算を GFS データA 結果 行う Map処理 コピー 計算 データB 結果 抽出 データA 結果 データ Reduce処理 データ Map処理 集約 保存 計算 データC 結果 抽出 データA 結果 Reduce処理 Map処理
- 62. Datacenter as a Computer 名言集 故障に対する接し方 • 故障予測はコストに合わない。Diskのような小さなサブ セットに関してのみ故障予測を行っている • サーバーが故障しても、急いで修理しない。「リペゕ」 バッチでしか行わない。その方が管理コスト抑制になる 結論 • We must treat the datacenter itself as one massive computer
- 63. Googleの中の人曰く ケン・トンプソン氏 • some sort of – not Cloud Computing but a Cloud Computer; something that is always there and always be accessed and always store data and always give it back.
- 64. Googleの中の人曰く ケン・トンプソン氏 • I think that is very hard. There is two types of jobs; one where you want to do something huge, （略） one job that takes thousands of computers to do or you want to do thousands of little jobs and never fail. And those are almost like two separate problems, like MapReduce（略）
- 65. Googleの中の人曰く ケン・トンプソン氏 • I am actually more interested in the second, in trying to get small jobs, the kind of jobs that a user at home will be restore a file, look at his date book, or pull a video, little small jobs that are much more reliable than anything he can do at home. 要約 • スループット指向の処理とレスポンス指向の処理を、両方でき なくてはならない
- 66. Googleの中の人曰く ロブ・パク氏 • 2002年にGoogleに入社してすぐに、プロ グラミング言語「Sawzall」のデザンを 始めた。クエリ・ログやパフォーマンス・ ログといった分散データの並列的な解析を、 数千台のマシンを連携させて行う際に、そ れを容易な言語で扱えるようにするものだ。
- 67. Googleの中の人曰く ロブ・パク氏 • Sawzallは、正確には関数型言語ではない が、関数型言語のプロパテゖ（特性）を使 用している。つまり、複数のコンピュテー ション・ピース（プロセス）がデータを シェゕしないようにするという特性だ。
- 68. Googleの中の人曰く ロブ・パク氏 • 何が新しいのか？ MapReduceは確か に古いモデルだが、とんでもないス ケールで利用されているという点が新 しい。MapReduceが成功したのは2つ の要因による。
- 69. Googleの中の人曰く ロブ・パク氏 • 一つは、とてもシンプルなプログラミング モデルなので、理解が容易であり、膨大な 台数のマシンを使って簡単に問題を解決で きるのだ。何事もMapとReduceに落とし 込めば、安全に並列処理ができる。
- 70. Googleの中の人曰く ロブ・パク氏 • もう一つは、あまり語られていないことだ が、耐障害性だ。マシンが2000～3000台 あって、それらが連携しながら何時間もか けて処理を成功させていることが、 MapReduceというモデルがうまくいって いる要因だ
- 71. その影響は Salesforce.comにも Salesforce.com CTO パーカー・ハリス氏 • 最近、ンフラストラクチャを全面刷新した。かつてはSun Microsystemsの「SunFire E25K」という最大112プロセッサの非常に巨大なサーバーを使用していた。E25Kを8台 も所有し、とても高価だった。しかし現在はデルの「PowerEdge 1950」に移行した。 Intel Nehalemは大変なコスト削減になったし、それでいて高速だ。私はこれが、業界の 総合的なトレンドだと感じている。皆、よりコモデゖテゖなハードウエゕに移行している。 これはとても大きな変化だ。
- 72. その影響は Salesforce.comにも Salesforce.com CTO パーカー・ハリス氏 • 我々は現在、ドキュメントはコモデゖテゖ・ハードウエゕ に保存している。これはある意味、Googleにとても似て いるやり方だ。我々は今、巨大なスケールのデータボ リュームを検証中で、Oracle Databaseではない別の、ク ラウドベースの並列処理技術を採用したストレージを活用 できないか考えている。「Hadoop」のようなものだ。
- 73. その影響は Salesforce.comにも Salesforce.com CTO パーカー・ハリス氏 • 今は、ゕクテゖブなデータをOracleに、ヒストリカルなデー タを非Oracleのシステムに保存している。今後は顧客データ も、マスターはOracleに、トランザクショナルなデータは非 Oracleのシステムに保存する可能性がある。請求書や注文書 といったトランザクションは、処理が終了すればさして重要 なデータではない。これらのデータは、Oracleから別のシス テムに移行するだろう。
- 74. その影響は Salesforce.comにも Salesforce.com CTO パーカー・ハリス氏 • もしかしたら将来、Oracleが（我々のデータセンター内 から）無くなるかもしれない。5年や10年後には、クラ ウド・ベースのデータベースシステムの時代が到来する だろう。クラウドベース・データベースは、今日のやり 方、OracleやIBMなどのやり方とは大きく異なる。今は、 革命的な変化が起きている。
- 75. その影響は Salesforce.comにも Salesforce.com CTO パーカー・ハリス氏 • Salesforce.comのような巨大なクラウド事業者が、そ の問題を解決するかもしれないし、データベース事業者 やその他の事業者が解決するかもしれない。
- 76. Googleから Amazon、Microsoftへ 開発時期：1998年～ 開発時期：2000年代前半 開発時期：2006年～ 実用時期：2000年代初期～ 実用時期：2007年～ 実用時期：2009年末～ 第一世代 第二世代 第三世代 グーグル ゕマゾン マクロソフト ソフトウエア名 ソフトウエア名 ソフトウエア名 GFS、MapReduce、 Amazon Dynamo Windows Azure BigTable データ分散方式 データ分散方式 データ分散方式 マスター・スレブ方式 コンシステントハッシング 分散ハッシュテーブル データの保存先 データの保存先 データの保存先 ハードデゖスク中心 メモリー中心 メモリー中心 ハードデゖスク併用 ハードデゖスク併用
- 77. 結論 • ネットワークでサービスが利用できれば 「クラウド」ではない • 分散処理、並列処理の時代がついにやっ てきた • 安価なハードウエゕ、自前で作ったソフ トウエゕがIT業界を支配する 以上、ありがとうございました