MongoDB on AWSクラウドという選択

MongoDB on AWSという選択
～より柔軟なインフラへ～

2012/8/24

自己紹介
名前：松尾康博 ( @understeer )
所属：アマゾンデータサービスジャパン
職種：ソリューションアーキテクト
好きなサービス：
 HPCインスタンス
 EC2 (+ 分散ミドルウェア)
MongoDB-JP
 専属Ustreamer

Copyright © 2012 Amazon Web Services

本日のアジェンダ

AWS(Amazon Web Services)のご紹介
MongoDBによく合うAWS
Tips
まとめ


アマゾンの３つのビジネス

一般消費者様 Eコマース
向けサービス（Amazon.co.jp）

セラー様向けマーケットプレイス
サービス物流サービス提供
（Amazon Services）

クラウド
企業様向けコンピューティング
サービス（Amazon Web Services）

なぜアマゾンは…
About Amazon
Web Services

Deep experience in
building and
?
operating global web
scale systems

…クラウドに参入したのか?

MongoDB on AWSクラウドという選択

クラウドコンピューティングとは？
初期投資が不要低額な利用価格実際の使用分
のみ支払い

セルフサービスなスケールアップ、ビジネススピード
インフラダウンが容易の改善

Deploy

必要なときにすぐに調達可能
オンプレミスクラウド
新しいインフラの構築は複雑ワンクリックで新しい
かつ遅くなりがちインフラを用意

必要調査評価新しいデプロイ環境を構築

新しいテスト環境を構築
計画設計エンジニア

新しい環境を海外に構築

調達契約コミッション

1,000 サーバ追加

デプロイ
1,000 サーバ削除

世界中からデータセンターを選択可能
GovCloud 米国西部米国東部南米 EU西部アジアアジア
(Dublin)
(US ITAR Region) (Northern (Northern (Sao paulo) パシフィックパシフィック
California) Virginia)
(Singapore) （東京）

AWS リージョン
AWS エッジロケ―ション: コンテンツデリバリーネットワーク

リージョンとアベイラビリティゾーン

１リージョン内にAZ（データセンター群）が複数拠点存在
AZはお互いに地理的・電源的・ネットワーク的に分離されている
AZ間は高速専用線で接続（リージョン間はインターネット経由）

成長を続けるアマゾンクラウド
米国で、クラウドストレージ＝Amazon S3
2006年 1
クラウド仮想サーバ＝Amazon EC2のサービスを開始

仮想プライベートクラウドサービス＝Amazon VPC
2009年 1
RDBサービス＝Amazon RDSを開始

世界で５番目のリージョンとして、
2011年3月 1
日本に東京リージョン(データセンタ群)を開設

世界8か所のデータセンター群と、
現在 1
33拠点のエッジロケーション網で、
20を超えるサービスを提供中

13

AWSの拡張のペース

アマゾンドットコムが2000年当時に
年商27.6億ドルの企業であった時
に必要なキャパシティと同等のものを
AWSは毎日追加しています
(circa 2000)


AWSの様々なサービス
お客様のアプリケーション

IDE プラグイン Tools to
ライブラリ & SDKs Web インターフェースデプロイと自動化 Access
Java, PHP, .NET, Eclipse AWS Elastic Beanstalk Services
Python, Ruby Management Console AWS CloudFormation
Visual Studio

ネットワーク＆ルーティング
認証 & 請求 Amazon VPC Cross-
AWS IAM モニタリングスケーリング
Amazon Elastic LB Service
Identity Federation Amazon CloudWatch Auto Scale
Amazon Route 53 Features
Consolidated Billing AWS Direct Connect

コンテンツ配信メッセージAmazon オンデマンド High-Level
分散処理メール配信
Amazon SNS ワークホース Building
Elastic MapReduce Amazon SES
CloudFront Amazon SQS Amazon Mechanical Turk
Blocks

データベース
ストレージ
Amazon RDS
コンピュータ処理 Amazon S3/Glacier Low-Level
Amazon DynamoDB
Amazon EC2 Amazon EBS Amazon SimpleDB Building
AWS StorageGateway Amazon Elasticache Blocks

AWS のグローバルなインフラ
Geographical Regions, Availability Zones, Points of Presence

Amazon EC2
・台数やスペックを柔軟に変更可能な仮想サーバ
1
・必要な時に、必要な台数を時間課金でご利用可能

Amazon S3
1
・容量無制限のオンラインストレージ
・自動的に日本国内の複数DCに保存し、高い耐久性を実現

Amazon Elastic MapReduce
・HW購入不要の分散処理(Hadoop)サービス
1
・ご利用時間×ご利用台数だけのお支払い

Amazon Virtual Private Cloud
・初期費用不要なプライベートクラウドサービス 1
・社内ネットワークからAWSにVPN/専用線で接続
17

Amazon Relational Database Service(RDS)
1
・マネージドRDBサービス(MySQL/Oracleが利用可能)
・マスタ/スレーブ構成や自動バックアップなどご利用可能

Amazon DynamoDB
1
・スループット性能指定可能な高速NoSQLサービス
・3カ所のデータセンターでSSDにデータを保持

Amazon Simple Queue Service(SQS)
・メッセージをキューイングするサービス 1
・メッセージは冗長化されたストレージに保存

Amazon ElasticCache
1
・Memached互換のキャッシングサービス
・ご利用時間×ご利用台数だけのお支払い

EC2 Amazon EC2(Elastic Compute Cloud)

リージョン
アベイラビリティアベイラビリティ
ゾーン A 任意のゾーンにゾーン B
分散配置可能
EC2 1 EC2

数分で起動可能な仮想サーバ
1時間ごとの従量課金で利用可能
14種類の仮想サーバを選択可能
Windows, Linuxなどx86-64アーキテクチャのOSが利用可能
OS以上は自由に触れる
 MongoDBでもそれ以外のNoSQLでもインストール可能


EC2インスタンスタイプ
• EC2起動時に任意のインスタンスタイプ（スペック）を選択可能
– http://aws.amazon.com/jp/ec2/instance-types/
Hi-Mem 4XL 68.4 GB

128 26 EC2 Compute Units
8 virtual cores
$2.072/$2.280
Cluster Compute 8XL 60.5 GB
88 EC2 Compute Units

64 Hi-Mem 2XL 34.2 GB
$2.40/2.97

4 virtual cores
$1.036/$1.140

32 Cluster Compute 4XL 23 GB
33.5 EC2 Compute Units
$1.60/1.98

Hi-Mem XL 17.1 GB
Cluster GPU 4XL 22 GB
6.5 EC2 Compute Units
16
Memory (GB)

33.5 EC2 Compute Units,
2 virtual cores
2 x NVIDIA Tesla “Fermi”
$0.518/$0.570 Extra Large 15 GB M2050 GPUs
8 EC2 Compute Units $2.10/2.60
4 virtual cores
$0.736/$0.920
8 Medium 3.75 GB
2 EC2 Compute Unit
Large 7.5 GB
4 EC2 Compute Units
1 virtual core 2 virtual cores
$0.184/0.230 $0.368/0.460

4 High-CPU XL 7 GB
8 virtual cores
High-CPU Med 1.7 GB $0.760/$1.140
5 EC2 Compute Units
2 virtual cores
2 Micro 613 MB
$0.190/$0.285

Up to 2 ECUs (for
short bursts)
Small 1.7 GB
$0.027/0.035
1 1 EC2 Compute Unit
1 virtual core
$0.092/0.115

1 2 4 8 16 32 64 128
EC2 Compute Units (ECU)

EBS Amazon EBS(Elastic Block Store)
/dev/xvdf
EBS
EC2 S3

/dev/xvdg EBS

EC2にマウント可能なストレージ
1EBSの容量最小1GB-最大1TB
複数のEBSを1つのEC2インスタンスにアタッチ可能
 EBSを別のEC2にマウントしなおす事も可能
 ただし複数のEC2から1つのEBSをマウントすることは出来ない
任意のファイルシステムでフォーマット
スナップショット機能
 任意の時点の全データをS3へ保管


AWSの高い汎用性
フロントUI 開発言語ミドルウェア

× ×
HTML5

OS

セキュリティへの対応

グローバル規模でセキュリティ対策を実施
ご利用者様に代わって、
認証専門機関が
専門家の観点でチェック
取得済の第三者認証/認定
 SOC 1/SSAE 16/ISAE 3402
 ISO 27001 (2010年取得)
 PCI DSS プロバイダー認証 (2010年取得)
 FISMA Moderateレベル認定 (2011年取得)

セキュリティホワイトペーパーの提供
 AWSセキュリティセンター
 http://aws.amazon.com/jp/security/

お客様のご利用分野
全社 & 部門 Oracle, SAP, Microsoft, Dassault
アプリケーション顧客の業務アプリケーション

E-コマース
コンシューマー & ウェブサイト
ウェブアプリケーションゲーム
ファイル同期 & 共有サービス

コンシューマー向けWebサイトのログ解析
HPC & ビッグデータゲノム配列解析
大規模バッチプロセス

オンプレミスデータのバックアップ
バックアップ & テープの代わりにアーカイブに利用
ディザスタリカバリーディザスタリカバリー

190ヶ国以上の数十万社を超す企業にて採用

AWS User Group Japan
(JAWS-UG)

現在24支部札
ハッシュタグ幌

#jawsug 盛
福金
神京井沢岡
岡仙
佐福山山戸都
台
長賀岡口東
クラウド女子会
崎熊
大名浜静京
本大古松岡湘
阪南
鹿宮分屋
沖児崎
縄島


AWSクラウドのメリットまとめ

今までできていたことを、
改善より早く、簡単に、安く実現できる

今までできなかったことを
革新実現できる

MongoDBをAWSで実行すると・・

簡単に試せる
 しかも安く試せる

グローバルなシステムを構築可能
 世界中のデータセンターがすぐに使える
 複数データセンター間・遠隔レプリカを簡単に実現

AWSの機能を活用して、運用を楽に！
 データの可用性、耐久性対策
 ノード故障時の対応
 ビッグデータ処理


簡単に試せる
Linuxインスタンス起動 5分
EBS設定 5分
MongoDBインストール数分
MongoDBセットアップ数分
MongoDB起動数分

http://www.mongodb.org/display/DOCS/Amazon+EC2


良いものアリます！
AWS マーケットプレイス
 ミドルウェアがプリインストールされたOSイメージを多数提供
 10genもMongoDB入りイメージを無償提供中
• https://aws.amazon.com/marketplace/pp/B007IBMJPI/
 手順も公開
• http://www.mongodb.org/display/DOCS/AWS+Marketplace


AWS 無料使用枠（12ヵ月）
Amazon EC2 750時間/月のLinux マイクロインスタンス
 複数インスタンスの場合も、合計750時間/月であれば無料利用枠に該当
Amazon EC2 750時間/月のWindows Server マイクロインスタンス
 複数インスタンスの場合も、合計750時間/月であれば無料利用枠に該当
Amazon EBS
 30 GB に加え、200万 I/O、スナップショットストレージ 1 GB
Elastic Load Balancing
 750時間に加え 15 GB 分のデータ処理
帯域幅「送信（アウト）」15 GB
Amazon S3 ストレージ
 5 GBの容量、20,000 Get リクエスト、2,000 Put リクエスト
DynamoDB、SimpleDB、SWF、SQS、SNS、CloudWatch

十分MongoDB試せます！


Replica sets on AWS
一方のゾーンにMongoDB ＋ Arbiterインスタンス
他方のゾーンにMongoDB

Sharded Replica sets on AWS
両ゾーンにConfig Server (t1.microでOK)
両ゾーンにShardを配置

複数のゾーンを活用すると
片方のゾーンで何かあっても

データが残る
そのまま使い続けられる

アーキテクチャーセンター
http://aws.amazon.com/jp/architecture/

全世界20カ所にMongoDBを設置可能
リージョン

オレゴン

東京

ダブリン
バージニア
カリフォルニア

シンガポール
サンパウロ


グローバルなシステムもAWSで可能

複数のリージョンをまたいだレプリカ
 例えば日本とシンガポールをまたいだDR・レプリカ構成
 Data Center Awarenessを簡単に使える・試せる


3-Node Replica Set
グローバルなシステムもAWSで可能

http://www.slideshare.net/spf13/multi-data-center-awareness


EBSのチューニング
通常のEBSは1本 100 IOPS程度が目安

例) 400GiBを1本で約100 IOPS

EBSを複数使って RAID

例) /Data は200GiBを4本 RAID10で約200+ IOPS

例) Log, Journal, Config Serverは RAID1にしておく

インスタンスを大きくするとEBSの性能も上がるので
ディスク本数を増やしてもサチらない
(m1.xlarge, c1.xlarge, m2.4xlarge)

例) 100GiBを8本 RAID10で400+ IOPS

さらに性能が欲しいときは・・・・
・EBSプロビジョンドIOPSと EBS-Optimizedインスタンス
・SSD搭載のハイI/O インスタンス

EBS プロビジョンド IOPS を最大限活用するためのリソースのご紹介
http://aws.typepad.com/aws_japan/2012/08/ebs-provisioned-iops-
some-interesting-resources.html

ベンチマークガイド
http://docs.amazonwebservices.com/AWSEC2/latest/UserGuide/EBSP
erformance.html#benchmark_piops

【AWS発表】 2TBのSSDを持つ、ハイ I/O EC2 インスタンスの登場
http://aws.typepad.com/aws_japan/2012/07/aws%E7%99%BA%E8%A
1%A8-new-high-io-ec2-instance-type-hi14xlarge-2-tb-of-ssd-backed-
storage.html

それでもWriteの性能を稼ぎたいときは最終手段のShard！

EBSとスナップショット

Region
事前にEBSスナップショット取得
Availability Zone - a
スナップショットからボリューム作成。その際に、アベイ
ラビリティゾーンを指定。
複製したボリュームは任意のインスタンスにアタッチして
利用可能
アベイラビリティゾーンを指定することで、別アベイラビ
リティゾーンに複製を作成することも可能
EBS EB EBS EBS

スナップショット元のボリュームに問題があった場合、ス
ナップショットからボリュームを復元することで、バック
Snapshot
アップからのリカバリとなる
Amazon Simple
Storage Service
(S3)

スナップショットで簡単高速バックアップ

mongodをFlush& Lock
> db.fsyncLock();

（必要なら）Filesystemをfreeze
$ xfs_freeze –f /path/to/mongo

各ボリュームのスナップショット取得
$ ec2-create-snapshot –d xxx vol-xxxxxx
$ ec2-create-snapshot –d xxx vol-yyyyy
・・・・

FilesystemのunfreezeとMongodのunlock
$ xfs_freeze –u /path/to/mongo
> db.fsyncUnlock();

スナップショットから簡単高速リストア

各スナップショットからボリューム作成
$ ec2-create-volume –snapshot snap-xxx
$ ec2-create-volume –snapshot snap-yyy
$ ec2-create-volume –snapshot snap-zzz
各ボリュームをアタッチ
$ ec2-attach-volume –device /dev/sdf
vol-xxxxxx
$ ec2-attach-volume –device /dev/sdg
vol-yyyyy

RAID,LVM復旧、MongoDB起動

http://www.mongodb.org/pages/viewpage.action?pageId=19562846


その他のTips
ネットワークおよびEBSのIOパフォーマンスが欲しい場合
 大きいインスタンス、大きいEBSボリュームを使用して下さい
 EBSの場合、ストライピングも可能

使用前のウォームアップ
 EBS全領域へ一度書き込む事をお勧めします

エフェメラルディスクでもMongoDB
 料金無料の内蔵ディスクもMongoDBなら便利に利用可能
 ログの保存などに
 2TBのSSDを内蔵したEC2インスタンスもリリース


続きはこちら
• Amazon EC2 – MongoDB
• http://www.mongodb.org/display/DOCS/Amazon+EC2
• MongoDB on AWS White paper
• http://d36cz9buwru1tt.cloudfront.net/AWS_NoSQL_MongoD
B.pdf

ビッグデータの扱いが簡単に!

AWSを使うとシンプルに!

Hadoop Clusters
Amazon S3

MongoDB Amazon EMR

AWSにデータをデータ解析結果のビジュ
蓄積アライズ

1 2 3

Foursquareでのデータ処理

http://www.scribd.com/doc/97692109/Hadoop-Foursquare

すぐに始められます。

http://aws.amazon.com/jp/aws-first-step/

「はじめてのアマゾンクラウド」シリーズの資料
「はじめてのアマゾンクラウド」シリーズ
の資料が参考になります
①AWSアカウント開設
http://slidesha.re/aws-open
②EC2でWebサーバー立ち上げ(当資料)
http://slidesha.re/ec2-open
③S3にwebコンテンツ保存
http://www.slideshare.net/kentamaga
wa/s3web
④EC2でWindowsサーバ立ち上げ
http://www.slideshare.net/kentamaga
wa/ec2windows

イベント・セミナーを多数実施

http://aws.amazon.com/jp/event_schedule/

クラウドデザインパターン(CDP)
http://aws.clouddesignpattern.org/

http://www.amazon.co.jp/dp/4822211967/

まとめ


まとめ
MongoDBをすぐに安く試すならAWS!
 無料枠でも十分試せます！

AWSの多くの機能で運用を楽に!
 Whitepaperあります

AWSでMongoDBの機能をフル活用！
 本番利用は10genサポートを！


MongoDB on AWSクラウドという選択

More Related Content

MongoDB on AWSクラウドという選択