運用が楽になる分散データベース Riak

運用が楽になる
分散データベース Riak
Bashoジャパン株式会社
Software Engineer
佐藤貴彦
2013/07/31
BPStudy#71

©2013 BASHO TECHNOLOGIES INC.ALL RIGHTS RESERVED.

自己紹介
•  佐藤貴彦
•  2013年7月より Basho ジャパン株式会社
•  前職も製品ベンダーで、RDBMSや分散キャッシュ製品を
中心とした、コンサルティングを担当
•  インフラ大好き
•  著書（共著）
•  絵で見てわかるITインフラの仕組み


Basho Technologies, Inc
•  設立：2008年1月設立
•  本社：マサチューセッツ州ケンブリッジ
•  製品
•  分散データベース Riak
•  分散型クラウドストレージ RiakCS


オープンソース版
エンタープライズ版
・複数クラスター間レプリケーション

・SNMP
/
JMXサポート

・Bashoのエンジニアによるサポート

Riak と Riak CS
分散型クラウドストレージ分散データベース
＋


理想のシステム
「どんな故障が起こっても
データを常に整合させつつ
サービスも止まることはない
システム」
は存在しません = CAP定理


Riakの設計ポリシー
•  Amazon Dynamo論文をベースに設計された分散KVS
•  以下に重点を置いている
•  可用性（Availability）
•  耐障害性（Fault-tolerance）
•  運用の容易性（Operational simplicity）
•  スケーラビリティ（Scalability）


Dynamo 論文より
•  Dynamo: Amazon’s Highly Available Key-value Store
•  可用性第一：常に書き込みができること
→ 書き込み時ではなく、読み込み時に整合性チェック
→ 例：ECサイトで常にショッピングカートを動かしたい
•  一貫性の考え方：Eventual Consistency
→ AP優先だが、チューニング可能
•  レイテンシの考え方：
→ 99.9パーセンタイルの応答を一定時間内に返す


Riakは Erlang/OTP上で動作
•  クラスタリングやノード間のメッセージングなどは、
Erlang/OTPにまかせている
•  Erlang/OTPとは？
•  元々はエリクソン社が電話交換機プログラムのために開発。
「分散環境」「耐障害性」「無停止動作」を目的とした
システムを構築できるように設計されている。
Riakを使ったシステムもこの恩恵を享受できる


Riak概要


RiakはRDBではなくKVS
•  Riakは永続性を持ったキーバリューストア
•  Key と Value ペアで、データを Bucket に格納する
•  バイナリで格納するため、文字列、画像、あらゆるデータを
格納可能
11
Key Value
•  ID: 0001 •  Name: Basho

•  Product: Riak

•  Logo:


RiakのデータとRDBのデータ比較
12
RDBのデータ構造 Riakのデータ構造
Key/Value
Bucket
Key Value
Record（行）
Table (表)
PK


Riakノードとは
•  1つのRiakノードは、OSプロセス上は1つのErlangプロセス
•  1つの物理サーバーにつき、1Riakノードを起動
•  GCを気にして複数プロセスに分けるといった必要はない
ノード1 ノード2
物理サーバー1 物理サーバー2


•  データは Riak によって自動的に分散配置される
•  ユーザーはデータがどこにあるかを意識する必要はない
データの自動分散配置
サーバー何台あっても
気にならないよ！
14


自動クラスタリング
•  クラスタの参加離脱（サーバーの追加削除）はコマンド
を実行すればあとは自動的に行われる
•  すべてのサーバーは対等な関係（マスターレス）であり
単一障害点（SPOF）が無い
15
クラスタに
参加させて！僕らは皆対等な
関係です！


データの自動再配置
•  サーバー追加時などは自動でデータの再配置が行われる
16


•  データの更新時は、異なるRiakノードに自動複製される
•  デフォルト設定では3つのサーバーにデータを保存
•  つまり2重障害（ディスク障害）でもデータが失われない
データの自動レプリケーション
1

2 3
更新

17


•  アクセスできないサーバーへの問い合わせはスキップ
•  一時的に他のサーバーが受け持つ
故障ノードの自動回避
しばらく代理を
引き受けます更新

18
1

2 3


•  障害などで失われたデータの複製は自動復旧される
データの自動復旧
19


クラスタ間自動レプリケーション
•  複数のRiakクラスタ間でデータのレプリケーション
•  DRサイトの作成を実現
•  Riak の Enterprise版でのみ提供
関東クラスタ関西クラスタ（DRサイト）
20


つまり
もし夜中にノードが落ちたら？

夜はゆっくり寝て、翌朝対応！


Riak
詳細


仮想ノード(vnode)
•  Riakノードの内部はさらにvnodeと呼ばれる仮想ノード
•  実際のデータは、Keyから計算されたハッシュ値により
処理されるvnodeが決定される
vnode
vnode
vnode
vnode
vnode
vnode
vnode
vnode
Riakノード(OSプロセス)


仮想ノード(vnode)のデータ
•  vnode内のデータはファイルシステム上に保存される
•  vnodeと同じ数だけ各ノードに配置される
node1 node2 node3 node4


1つのパーティションを
1つのvnodeが担当
Riakにおける仮想ノードとRing
hash(bucket/key)
から160bitのハッシュ値を計算
02 - 1
160
160bitのハッシュ空間を、P個の

パーティション（範囲）に分解
vnode
この範囲のデータは
僕が担当します。


hash(bucket/key)
例）P=32 の場合
32個のパーティションを
32個のvnodeで配分

Ring
vnode
02 - 1
160


hash(bucket/key)
vnode

Ring
node3
node2
node1
node4
02 - 1
160
例）P=32, 4ノードの場合
32個のパーティションを
32個のvnodeで配分し、

4つのRiakノードで配分。


Riakにおける正常時の挙動


書き込み(put)時の挙動
•  Riakノードにデータがputされるとき、
N個の複製を生成する（default
N=3）。
•  複製は隣接するvnodeに保存される。
（隣接するvnodeは必ず異なるRiak
ノード上にある）
→ 物理ノード障害に対応
•  W個の保存に成功した時点でクライ
アントに応答を返す。（default W=2）
•  すべてのノードの応答を待たない。
これはレイテンシを短くするため。
Riak
Client
node3
node2
node1
node4
put


読み込み(get)時の挙動
•  Riakノードからデータをgetする
とき、R個のノードが応答を返した
次点で、クライアントに返す
（default R=2）
Riak
Client
node3
node2
node1
node4
get


レプリカの整合性を保つ
Quorum-based Protocol
•  put/getや、put/putの競合が発生しても
以下の条件を満たせば競合を解決できる
•  W+R N
→ put/getが競合しても、get側は必ず最
新のオブジェクトを得られる
•  W N/2
→ put/putが競合しても、衝突を知ること
ができる。
•  Riakのデフォルト値は N=3, W=2, R=2
•  あとはオブジェクトの時間を比較可能
Riak
Client
node3
node2
node1
node4
Riak
Client
put
get


整合性を保てる例保てない例
•  N=4, W=3, R=2 の場合
W+R N , W N/2 を満たす
•  N=3, W=3, R=1 の場合
W+R N , W N/2 を満たす
put
get
put
get
old
new
•  N=3, W=2, R=1 の場合
W+R N を満たしていない
put
get古いデータを読んでしまうかも


オブジェクトの内部時計
Vector Clocks
•  競合が発生した場合、最新オブジェ
クトを得るには、どのオブジェクト
が最新かを比較する必要がある
→ オブジェクトのバージョン管理
•  各オブジェクトは「誰」が「いつ」
更新したを記録する、オブジェクト
の世界における時計 Vector Clocks
を持っている。
•  オブジェクトの系譜をたどれる
Riak
Client
node3
node2
node1
node4
Riak
Client
過去現在
put
get


put時の競合の解決は？
LWWとSiblings
•  put/putの競合が起こった場合、Vector
Clocks で新旧判断がつくなら、新しい方
を残す。判断がつかない場合は？
•  Last Write Wins
→ 後から処理された方を残す。
•  Siblings
Vector Clocksからは、新旧判断がつかな
いオブジェクトは、両方共残す。

Riak
Client
node3
node2
node1
node4
Riak
Client
事実はなかったことに…
put put
どちらも最新バージョン


Riakにおける障害時の挙動


ノード障害時の書き込み挙動
Hinted Handoff
•  ノード障害が発生して書き込みが
できない場合、一時的に次のノー
ドに書き込みに行く。この動作を
Handoff と呼ぶ。
•  PUT,GET,DELETEリクエストは、フ
ォールバックノードに転送。
put
Riak
Client
node3
node2
node1
node4
フォールバックノードに
レプリカが保存される
障害中・・・


ノード復旧時の書き込み挙動
Hinted Handoff
•  障害ノードが復帰した場合、フォー
ルバックノードから、あずかって
いたオブジェクトを受け取る。
node3
node2
node1
node4
復旧しました


障害から復旧しなかったら？
Read Repair
•  保存データの部分消失があった場合
get時に気がつくことができる。
•  再度複製を生成。
•  vnode間でオブジェクトの最新バ
ージョンを維持しようとする。
node3
node2
node1
node4
Riak
Client
get
レプリカ足りない…?


自動修復機能
Active Anti-Entropy
•  データの複製が失われた状態を、
実際にgetするまで気がつけないこ
とは危険。
•  AAE機能により定期的に自動修復
•  vnode単位でデータのハッシュツ
リーを持っている。定期的にハッ
シュ値の比較を行うことで、デー
タ複製間の不整合を検知し、Read
Repairを行う。
node3
node2
node1
node4
このvnodeのハッシュだけ
一致しないぞ・・・？


Riakデータアクセス


Riakのデータ問い合わせの種類
•  Key/Valueの読み書き
•  セカンダリインデックス(2i)によるタグ付け
•  MapReduceによる分散処理（複雑なクエリ）
•  全文検索
41
get
tagA tagB
put


DEMO


RiakCS

ちょっとだけ


Riak CS の特徴
•  Riak CS は「分散」オブジェクトストレージ
•  Riakをベースに作られており、Riakの持つ拡張性、可用性、
耐障害性、運用容易性をそのまま受け継いでいる
•  Amazon S3 互換のAPI（NFS、CIFSなどのAPIは持たない）
•  Riak CS を使うことで、Amazon S3 互換のクラウドを構
築できる
44


Riak 上に作られた Riak CS
45
1MB単位に分割してRiakへ
高可用性があって

拡張できる大きな
ストレージとして
使えます


まとめ


まとめ
もし夜中にノードが落ちたら？

ゆっくり寝て翌朝対応できる。

運用が楽になる分散データベース


Use
Cases
/
Customers


Riak/Riak CS 適用業界の例
•  小売業（ECサイト）
•  医療
•  広告 / マーケティング
•  モバイルサービス
•  ゲーム
•  メディア
•  ソーシャルネットワーク
•  課金 / 支払い
•  セキュリティ
•  クラウドサービス
大量データの保存が必要な場合はもちろ
ん、非常に高い可用性や耐障害性を求め
て弊社製品を使って頂いております！
49


Basho ユーザー
50

運用が楽になる分散データベース Riak

More Related Content

運用が楽になる分散データベース Riak