Location via proxy:   [ UP ]  
[Report a bug]   [Manage cookies]                
SlideShare a Scribd company logo

Wakame Project - 自作クラウド研究会

•
•
axsh co., LTD.
axsh co., LTD.

Wakame Project

1 of 43
Wakame Software Foundation 株式会社あくしゅ やまざき 1
 前職：某大手SIer  2007年起業：株式会社あくしゅ  昔から一緒にプロジェクトをやっていたメンバと共に  「分散・協調」をテーマにしたテクノロジ中心の会社  クラウドコンピューテゖング向けの 製品開発に注力 ぜひご購入下さい！ 2
3
1999年 Virtual Sound Horror House 4
1999年 Virtual Sound Horror House 5
メディアアート作品の出展 コンテンツ 6
7
クラウドコンピューティングに必要なソフトウェア群 8
 目的  日本から世界に向けて クラウドコンピューテゖングを 技術的に支援すること  手段  クラウドコンピューテゖングに必要な ソフトウェゕをオープンソースとして開発、 リリースを行う  Apache License 2.0で公開します  今のところ全てRubyで書いています 9
Wakame Projectで開発されるソフトウェゕを組み合わせて、 自分のプロジェクトに適用することができます。 Wakame Project 自分のプロジェクト Software ノ ウ Software Software ハ Software Software ウ Wakame Software Foundation フィードバック 10
世界中のデータセンターを １つのコンピュータにする 11
 ひとつのコンピュータなら…  ソフトウェゕも書きやすい  メンテナンスもやりやすい  システム開発者は 本業に集中していただきたい  ゗ンフラが彼らをケゕできる仕掛けを 組み込んでいきたい ひとつのコンピュータにこだわって行きたい 12
Hardware Software 13
Network Hardware Network Software 14
Single PC Cloud Application Application Operating System Platform Networked Software Software Hardware Infrastructure 15
Wakame Project Cloud Wakame-fuel Application Wakame-os Platform Wakame-vdc Infrastructure 16
Cloud クラウド基盤上で動く Wakame-fuel アプリのオートスケールなど 動的管理する 複数のクラウド基盤を横断的に Wakame-os 適宜利用する 迅速で安全なサーバの準備をする Wakame-vdc クラウド基盤 17
 対象となるユーザ様  データセンター事業者様  サーバを複数台管理なさっているお客様  導入で期待できる効果  運用効率化 Cloud  ダウンサ゗ジング Wakame-fuel  新しいサービスの創成 Wakame-os  2010/12/24(金)に最新版を リリースしました Wakame-vdc 18
 機能  KVMに対応  今後主要なHyper Visorに順次対応していきます  現在LXC対応を進めています  iSCSIによるブロックストレージに対応  ゗ンスタンスのブートもここから可能です  ゗ンスタンス間の通信制御 (セキュリテゖグループ)に対応  GUIを標準装備  共有リソースと専有リソースの区分に対応  お客様によってご指定の゗ンスタンス、ストレージ、 ネットワークを任意に組み込むための機能 19
http://wakame.jp 20
ssh Browser User IP Naming html/JSON DHCP Service hostname GUI Data Agent DNS Server Center (NSA) (Web UI) Manager (DCMGR) Hyper Instance DCMGR Queue Visor VM Web API (AMQP) Agent (HVA) iSCSI Block Storage DCMGR Device Target Collector ZFS Agent (STA) 21
 Instance  ブート方法は下記する二種類  Block Storage (ZFS)に格納されているSnapshotを Volumeに戻してKVMに接続して起動する  Amazon EC2のEBSに近い仕組みで高速  file://や、http://で取得可能なマシン゗メージを、 ハ゗パーバ゗ザから見えるデゖスクにコピーして起動する事も可能  Block Storageを用意できない環境向けにNFSと組み合わせることを想定している  Volume  Instanceへの追加デゖスクとしてAttach/Detachも可能  Snapshotは任意のタ゗ミングで取れる  VMのHA  Instanceの起動状況を監視し、落ちたら再度起動する仕組み  メモリは揮発してしまうが、 マシン゗メージが残っているので、そこから復帰を試みるもの 22
 AWS同様の記述が可能  NetFilterで実現する  ebtables, iptablesに翻訳して、 各HVAで実行する  Security Groupの実現にVLANは利用しない  故にVLANを他の目的に使うことができる Instance Instance control VMs (VM) (VM) Hyper VNIC VNIC Visor Agent Fire Fire configure FWs Wall Wall NIC NetFilter Hyper Visor – KVM (Linux) 23
下記するようなデータセンターでの利用も想定しているため、 ゕカウントごとにタグVLANを割り当てた 異なるIPプールを持つ事ができる。 データセンター 企業A VPN 企業Aのリソース VLAN-A 企業B 企業Bのリソース VLAN-A 192.168.*.* VLAN-B VPN Wakame-vdc 企業C 企業Cのリソース VLAN-B 10.*.*.* VPN VLAN-C VLAN-C 172.16.*.* 24
 全機能をお試しいただく最小構成で、 Linux(Ubuntu)とOpenSolarisが必要  OpenSolarisは ZFSのストレージサーバとして利用する  ブロックデバ゗スからのブートが必要なければ、 Linuxマシン1台で済む  上記以外は全てLinuxで動作する  http://wakame.jp/manual/wakame-vdc/10.11/installation.html 25
ゴキンジャム Storage KVM サーバ サーバ 26
 LXC対応  検証環境の一部をAWSへ持って行きたい  Cloud on Cloudの実験中  NAT対応  固定グローバルIPを割り振りたい  Gatewayルータにする  実績を出す  実運用に向けて動き出す予定 27
 自分たちで書いたコードが全て  頭のてっぺんから足の先まで  開発者の顔が見えること  カスタマ゗ズ自由自在  中身が分かっているので着手も早い 28
 とても簡単に実現できます  「Web APIの翻訳」ができさえすれば良い  なぜ「正式」にはサポートしないのか  「互換する」と謳っているプロダクトも 実際のところは100%互換ではない  所詮サブセットが互換する状態  Web APIを一緒にすると、 実装上の振る舞いも一緒になってしまうのは大き な制約であるから  AWSが答えではないから  運用してゆけば同じ仕組みで良いとはならないのでは 29
 対象となるユーザ様  ゕプリケーションの運用者及び開発者様  導入で期待できる効果  ハ゗ブリッドクラウドによる Cloud iDCの目的別・効率的利用 Wakame-fuel  2010/08/31(金)に テクノロジプレビュー版を Wakame-os リリース Wakame-vdc 30
require ‘wakame’ aws_process = Wakame::Process.setup(:spec_name => ‘aws-us-east-1’) local_process = Wakame::Process.setup(:spec_name => ‘local’) queue = Wakame::Queue.setup fork fork aws_process.fork(queue) { |queue| # heavy process… AWS Instance queue.push(‘aws_process done!’) local_process aws_process This script } Your PC local_process.fork(queue) { |queue| # light process… queue.push(‘local_process done!’) } queue queue puts queue.pop #=>‘local_process done!’ puts queue.pop #=>‘aws_process done!’ PIの計算くらいだったらこれで十分です。 31
#include<wakame> aws_process = create_wakame_process(); aws_process->setSpecName(“aws-us-east-1”); queue = create_wakame_queue(); if( aws_process->fork()==0 ){ /* heavy process… */ queue->push(“aws_process done!”); exit(0); } printf(“%s¥n”, queue->pop()); /* aws_process done! */ こんなコードがかけるようにします。 32
$ my_daemon & [1] 28289 $ move %1 aws-us-east-1 $ ps PID TTY TIME CMD 28243 pts/0 00:00:00 bash_cloud 28265 pts/0 00:00:00 ps 28289 pts/0 00:00:00 my_daemon exec exec my_daemon bash_cloud AWS Instance Your PC ps 33
Cloud Wakame-fuel 開発したアプリケーション Wakame-os Wakame-vdc AWS (オンプレミス/オンデマンド) (オンデマンド) 34
Cloud Wakame-fuel 開発したアプリケーション Wakame-os Wakame-vdc (オンプレミス/オンデマンド) AWS (オンデマンド) 35
 対象となるユーザ様  ゕプリケーションの運用者及び開発者様  導入で期待できる効果  ゕプリケーションの起動管理  オートスケールなどの対応 Cloud  2009/04/22に初版リリース Wakame-fuel  今後はWakame-osへの対応を 予定しています Wakame-os  現在リフゔクタ中 Wakame-vdc 36
 東芝様のフゔームウェゕ配信に 使われている (from 日経SYSTEMS)  http://itpro.nikkeibp.co.jp/article/NEWS/20100226/345120/  某広告集配信サービス  ユーザ単位に配信すべき広告をバッチ処理  Queue(Amazon SQS)からpopしてひたすら処理す るので、CPU負荷は一定のまま  Queueにある程度溜まり始めたら増やしたい 37
 More…  Simple  High Scale  High Redundancy  来年度春にはリリースします 38
 IZUMO(仮称)  クリエーションラ゗ン株式会社  分散オブジェクトストゕ  File Systemを志向しており、 コンテンツ共有(Deploy)や、 DBのためのShared Diskとしても活用できる  Wakame Project内におけるS3相当の位置付け 39
 Wakame Software Foundation US  Distributed Computing Systems, LLC. (米国)  某大学でコミュニテゖ構築中  Cloud in a Box Projectを共同で開始  DCS社のコゕコンピタンスは ボリュームストレージのソリューション  Wakame-vdcとボリュームストレージの 標準ゕプラ゗ゕンス構築を目指しています 40
 会員様(敬称略50音順)  大学法人会津大学  株式会社゗ンフゖニテゖ  カゴヤ・ジャパン株式会社  一般社団法人クラウド利用促進機構(CUPA)  クリエーションラ゗ン株式会社  株式会社クレスソフト  Distributed Computing Systems, LLC. (米国)  株式会社デザ゗ニウム  株式会社ピコ・ナレッジ  フォースクーナ株式会社  株式会社あくしゅ  個人会員様11名 41
Wakame Software Foundationにご参加いただいている方々は、 これからのクラウドコンピューテゖングの未来を変える人々です。 お気軽にお問い合わせください 42
43

More Related Content

Wakame Project - 自作クラウド研究会

  • 1. Wakame Software Foundation 株式会社あくしゅ やまざき 1
  • 2.  前職：某大手SIer  2007年起業：株式会社あくしゅ  昔から一緒にプロジェクトをやっていたメンバと共に  「分散・協調」をテーマにしたテクノロジ中心の会社  クラウドコンピューテゖング向けの 製品開発に注力 ぜひご購入下さい！ 2
  • 3. 3
  • 4. 1999年 Virtual Sound Horror House 4
  • 5. 1999年 Virtual Sound Horror House 5
  • 7. 7
  • 9.  目的  日本から世界に向けて クラウドコンピューテゖングを 技術的に支援すること  手段  クラウドコンピューテゖングに必要な ソフトウェゕをオープンソースとして開発、 リリースを行う  Apache License 2.0で公開します  今のところ全てRubyで書いています 9
  • 10. Wakame Projectで開発されるソフトウェゕを組み合わせて、 自分のプロジェクトに適用することができます。 Wakame Project 自分のプロジェクト Software ノ ウ Software Software ハ Software Software ウ Wakame Software Foundation フィードバック 10
  • 12.  ひとつのコンピュータなら…  ソフトウェゕも書きやすい  メンテナンスもやりやすい  システム開発者は 本業に集中していただきたい  ゗ンフラが彼らをケゕできる仕掛けを 組み込んでいきたい ひとつのコンピュータにこだわって行きたい 12
  • 13. Hardware Software 13
  • 14. Network Hardware Network Software 14
  • 15. Single PC Cloud Application Application Operating System Platform Networked Software Software Hardware Infrastructure 15
  • 16. Wakame Project Cloud Wakame-fuel Application Wakame-os Platform Wakame-vdc Infrastructure 16
  • 17. Cloud クラウド基盤上で動く Wakame-fuel アプリのオートスケールなど 動的管理する 複数のクラウド基盤を横断的に Wakame-os 適宜利用する 迅速で安全なサーバの準備をする Wakame-vdc クラウド基盤 17
  • 18. 対象となるユーザ様  データセンター事業者様  サーバを複数台管理なさっているお客様  導入で期待できる効果  運用効率化 Cloud  ダウンサ゗ジング Wakame-fuel  新しいサービスの創成 Wakame-os  2010/12/24(金)に最新版を リリースしました Wakame-vdc 18
  • 19. 機能  KVMに対応  今後主要なHyper Visorに順次対応していきます  現在LXC対応を進めています  iSCSIによるブロックストレージに対応  ゗ンスタンスのブートもここから可能です  ゗ンスタンス間の通信制御 (セキュリテゖグループ)に対応  GUIを標準装備  共有リソースと専有リソースの区分に対応  お客様によってご指定の゗ンスタンス、ストレージ、 ネットワークを任意に組み込むための機能 19
  • 21. ssh Browser User IP Naming html/JSON DHCP Service hostname GUI Data Agent DNS Server Center (NSA) (Web UI) Manager (DCMGR) Hyper Instance DCMGR Queue Visor VM Web API (AMQP) Agent (HVA) iSCSI Block Storage DCMGR Device Target Collector ZFS Agent (STA) 21
  • 22. Instance  ブート方法は下記する二種類  Block Storage (ZFS)に格納されているSnapshotを Volumeに戻してKVMに接続して起動する  Amazon EC2のEBSに近い仕組みで高速  file://や、http://で取得可能なマシン゗メージを、 ハ゗パーバ゗ザから見えるデゖスクにコピーして起動する事も可能  Block Storageを用意できない環境向けにNFSと組み合わせることを想定している  Volume  Instanceへの追加デゖスクとしてAttach/Detachも可能  Snapshotは任意のタ゗ミングで取れる  VMのHA  Instanceの起動状況を監視し、落ちたら再度起動する仕組み  メモリは揮発してしまうが、 マシン゗メージが残っているので、そこから復帰を試みるもの 22
  • 23.  AWS同様の記述が可能  NetFilterで実現する  ebtables, iptablesに翻訳して、 各HVAで実行する  Security Groupの実現にVLANは利用しない  故にVLANを他の目的に使うことができる Instance Instance control VMs (VM) (VM) Hyper VNIC VNIC Visor Agent Fire Fire configure FWs Wall Wall NIC NetFilter Hyper Visor – KVM (Linux) 23
  • 24. 下記するようなデータセンターでの利用も想定しているため、 ゕカウントごとにタグVLANを割り当てた 異なるIPプールを持つ事ができる。 データセンター 企業A VPN 企業Aのリソース VLAN-A 企業B 企業Bのリソース VLAN-A 192.168.*.* VLAN-B VPN Wakame-vdc 企業C 企業Cのリソース VLAN-B 10.*.*.* VPN VLAN-C VLAN-C 172.16.*.* 24
  • 25.  全機能をお試しいただく最小構成で、 Linux(Ubuntu)とOpenSolarisが必要  OpenSolarisは ZFSのストレージサーバとして利用する  ブロックデバ゗スからのブートが必要なければ、 Linuxマシン1台で済む  上記以外は全てLinuxで動作する  http://wakame.jp/manual/wakame-vdc/10.11/installation.html 25
  • 26. ゴキンジャム Storage KVM サーバ サーバ 26
  • 27.  LXC対応  検証環境の一部をAWSへ持って行きたい  Cloud on Cloudの実験中  NAT対応  固定グローバルIPを割り振りたい  Gatewayルータにする  実績を出す  実運用に向けて動き出す予定 27
  • 28.  自分たちで書いたコードが全て  頭のてっぺんから足の先まで  開発者の顔が見えること  カスタマ゗ズ自由自在  中身が分かっているので着手も早い 28
  • 29. とても簡単に実現できます  「Web APIの翻訳」ができさえすれば良い  なぜ「正式」にはサポートしないのか  「互換する」と謳っているプロダクトも 実際のところは100%互換ではない  所詮サブセットが互換する状態  Web APIを一緒にすると、 実装上の振る舞いも一緒になってしまうのは大き な制約であるから  AWSが答えではないから  運用してゆけば同じ仕組みで良いとはならないのでは 29
  • 30.  対象となるユーザ様  ゕプリケーションの運用者及び開発者様  導入で期待できる効果  ハ゗ブリッドクラウドによる Cloud iDCの目的別・効率的利用 Wakame-fuel  2010/08/31(金)に テクノロジプレビュー版を Wakame-os リリース Wakame-vdc 30
  • 31. require ‘wakame’ aws_process = Wakame::Process.setup(:spec_name => ‘aws-us-east-1’) local_process = Wakame::Process.setup(:spec_name => ‘local’) queue = Wakame::Queue.setup fork fork aws_process.fork(queue) { |queue| # heavy process… AWS Instance queue.push(‘aws_process done!’) local_process aws_process This script } Your PC local_process.fork(queue) { |queue| # light process… queue.push(‘local_process done!’) } queue queue puts queue.pop #=>‘local_process done!’ puts queue.pop #=>‘aws_process done!’ PIの計算くらいだったらこれで十分です。 31
  • 32. #include<wakame> aws_process = create_wakame_process(); aws_process->setSpecName(“aws-us-east-1”); queue = create_wakame_queue(); if( aws_process->fork()==0 ){ /* heavy process… */ queue->push(“aws_process done!”); exit(0); } printf(“%s¥n”, queue->pop()); /* aws_process done! */ こんなコードがかけるようにします。 32
  • 33. $ my_daemon & [1] 28289 $ move %1 aws-us-east-1 $ ps PID TTY TIME CMD 28243 pts/0 00:00:00 bash_cloud 28265 pts/0 00:00:00 ps 28289 pts/0 00:00:00 my_daemon exec exec my_daemon bash_cloud AWS Instance Your PC ps 33
  • 34. Cloud Wakame-fuel 開発したアプリケーション Wakame-os Wakame-vdc AWS (オンプレミス/オンデマンド) (オンデマンド) 34
  • 35. Cloud Wakame-fuel 開発したアプリケーション Wakame-os Wakame-vdc (オンプレミス/オンデマンド) AWS (オンデマンド) 35
  • 36.  対象となるユーザ様  ゕプリケーションの運用者及び開発者様  導入で期待できる効果  ゕプリケーションの起動管理  オートスケールなどの対応 Cloud  2009/04/22に初版リリース Wakame-fuel  今後はWakame-osへの対応を 予定しています Wakame-os  現在リフゔクタ中 Wakame-vdc 36
  • 37.  東芝様のフゔームウェゕ配信に 使われている (from 日経SYSTEMS)  http://itpro.nikkeibp.co.jp/article/NEWS/20100226/345120/  某広告集配信サービス  ユーザ単位に配信すべき広告をバッチ処理  Queue(Amazon SQS)からpopしてひたすら処理す るので、CPU負荷は一定のまま  Queueにある程度溜まり始めたら増やしたい 37
  • 38.  More…  Simple  High Scale  High Redundancy  来年度春にはリリースします 38
  • 39.  IZUMO(仮称)  クリエーションラ゗ン株式会社  分散オブジェクトストゕ  File Systemを志向しており、 コンテンツ共有(Deploy)や、 DBのためのShared Diskとしても活用できる  Wakame Project内におけるS3相当の位置付け 39
  • 40.  Wakame Software Foundation US  Distributed Computing Systems, LLC. (米国)  某大学でコミュニテゖ構築中  Cloud in a Box Projectを共同で開始  DCS社のコゕコンピタンスは ボリュームストレージのソリューション  Wakame-vdcとボリュームストレージの 標準ゕプラ゗ゕンス構築を目指しています 40
  • 41. 会員様(敬称略50音順)  大学法人会津大学  株式会社゗ンフゖニテゖ  カゴヤ・ジャパン株式会社  一般社団法人クラウド利用促進機構(CUPA)  クリエーションラ゗ン株式会社  株式会社クレスソフト  Distributed Computing Systems, LLC. (米国)  株式会社デザ゗ニウム  株式会社ピコ・ナレッジ  フォースクーナ株式会社  株式会社あくしゅ  個人会員様11名 41
  • 43. 43