[C16] インメモリ分散KVSの弱点。一貫性が崩れる原因と、それを克服する技術とは？ by Taichi Umeda

db tech showcase 東京 2013

インメモリ分散KVSの弱点。
一貫性が崩れる原因と、
それを克服する技術とは？
2013/11/13

日立製作所情報・通信システム社
ソフトウェア開発本部第２ＡＰ基盤ソフト設計部

梅田多一

自己紹介

© Hitachi, Ltd. 2013. All rights reserved.

２０００年入社
・ミドルウェア開発
・テクニカルサポート
仕事のスタイル
・ＴＴＰ
・ＧＮＮ

DB Online
http://enterprisezine.jp/dbonline/detail/5010

2

一貫性が崩れる原因と、それを克服する技術とは？

Contents
インメモリデータグリッドって何だ？
インメモリデータグリッドの要素技術
強一貫性への挑戦！



インメモリデータグリッドって
何だ？



登場の背景


5

登場の背景
・発信データの爆発的増加（Big Data）
・データを扱うミドルウェアへの要件として
大量発信データの高速処理、リアルタイム分析、大量蓄積データの高速検索、、

モノの発信

ＢｉｇＤａｔａ

電力メーター
運行情報

通話ログ

人の発信
動画・画像・音声
コンテンツダウンロード

ＳＮＳ
つぶやき

カーナビ
ＧＰＳ

設備監視
物流トレース

メール・オフィス文書
スマートフォン

監視映像

環境・気象データ

データベース

ＩＣカード利用

人の移動
ネット購入

診断画像・
電子カルテ

6


日立の取り組み


7

日立の取り組み
①uCosminexus Elastic Application Data store（以下EADs）（C16）
②uCosminexus Stream Data Platform（C23）
③Hitachi Advanced Data Binder プラットフォーム（C32）
③大量蓄積データの高速検索

データ

現場の状況をいち早く把握

修理指示

売り場への指示

データ

問題の解決
新たな価値の提供

①大量発信データの高速処理（インメモリデータグリッド）
②大量発信データのリアルタイム分析（CEP）

8


日立の案件


9

日立の案件（電力）
スマートメータ
収集サーバから出力される大量の検針値（３０分値）を、
一定期間（４０日）分DBに格納したい。

工場

検針値
１日分
オフィス

戸建

大量の検針値を
高速に受信

当日分メモリ保持、日次ジョブ実行による
一日分ファイル出力、一括ＤＢロード

10

日立の案件（通信）
メディエーション／TMS
交換機から出力される大量のRawCDRを、
課金システムや帯域制御システム向けのCDRに編集したい。
RawCDR：
接続開始／一定時間経過／HO発生／接続終了などのタイミングで出力される、
接続ID、接続時間、通信量などの情報。
CDR：
同一の接続に対する分割情報であるRawCDRを結合（通信量の合算など）した情報。

RawCDR
CDR

大量の接続情報を
高速に受信

同一接続のデータ集合を
イベントドリブンに編集

11


インメモリデータグリッドの
３つの特徴


12

インメモリデータグリッドの３つの特徴

①インメモリＫＶＳである


13

①インメモリＫＶＳ*である
・一意に識別可能な「キー」とそれに対応する「値」
で構成されるデータを保持するインメモリストア
→レスポンス性能
* KVS: Key Value Store

Key
Foo
Application Server

Value
A

インメモリＫＶＳ Bar
Baz

0
A,0


14


②分散している


15

②分散している
・複数サーバのメモリ上にデータを分散配置
→スループット性能と拡張性

Key

Value

Baz

A,0
Key
Foo

A

Bar

Application Server

Value
0

インメモリ分散ＫＶＳ

16


③実行できる


17

③実行できる
・同時に使うデータを同じ場所に集約する（Grouping*）
・ユーザロジックの分散実行（Distributed Code Execution*）
→ネットワークトラフィックの削減とCPUの活用
* JSR 347: Data Grids for the
JavaTM Platform

Key

Value

G2:Foo

B

G2:Bar

1

G2:Baz

B,1

ユーザロジック

Application Server

インメモリデータグリッド

Key

Value

G1:Foo

A

G1:Bar

グループ処理

0

G1:Baz

A,0


18


まとめ


19

大量発信データの高速処理（レスポンス、スループット、スケールアウト）
を実現するために以下の特徴を持つもの
・インメモリＫＶＳである
・分散している
・実行できる


20


インメモリデータグリッドの
要素技術
(EADs分散基盤編

)



コンシステントハッシング
～スループット性能向上～


22

コンシステントハッシング
・サーバは232の範囲に等分配置
・Keyのハッシュ値からマスタの保存先を決定
231-1 | -231

サーバ
マスタ

Hash(Foo)

レンジ

Put Foo A

EADs Tool

23


レプリケーション
～可用性向上～


24

・多重度定義に従いデータを複製
・高速化のため非同期
231-1 | -231
スレーブ１
サーバ
マスタ

スレーブ２
Hash(Foo)

レンジ

Put Foo A

EADs Tool

25

・１サーバは複数レンジのデータを保持

231-1 | -231

マスタ

スレーブ１

スレーブ２

EADs Tool

26


マスタ切替
～可用性向上～


27

マスタ切替（縮退時）
・ハートビートおよびヘルスチェックによる障害検知
・サーバを切り離しマスタを切り替える
障害
231-1 | -231

スレーブ１
→マスタ

EADs Tool

28

マスタ切替（復旧時）
・運用機能によるサーバ追加
・レンジ単位にデータ転送
復旧サーバ

復旧レンジ
転送速度

EADs Tool

29

復旧サーバ
復旧レンジ

転送速度

EADs Tool

30

復旧サーバ

転送速度
復旧レンジ

EADs Tool

31

・サーバを追加しマスタを切り替える

復旧

EADs Tool

32


整合性と一貫性


33

整合性と一貫性
整合性：マスタとスレーブの値が同じ
一貫性：すべてのクライアントから最新の値が見える

Foo＝A

Foo＝A
Foo＝A

Get Foo
Get Foo

→A
→A


34


一貫性の３つの課題


35


①複製順序不正による不整合


36

①通信遅延⇒複製順序不正
⇒不整合⇒マスタ切替（永久的障害時）⇒一貫性？

①Foo＝A
②Foo＝B

①Foo＝A
②Foo＝B
①Foo＝B
遅延
②Foo＝A

①Put Foo A
②Put Foo B


37


②複製処理失敗による不整合


38

②一時的障害（サーバ、ネットワーク）⇒複製処理失敗
⇒不整合⇒マスタ切替（永久的障害時）⇒一貫性？

Bar＝0
失敗
Bar＝01
Bar＝01
成功

CAS Bar 0 1

CAS: Compare and Swap

39


③スプリットブレインによる不整合


40

③L2スイッチの障害⇒ネットワーク分断
⇒複数マスタ⇒一貫性？
マスタはこのサーバだ！

スプリット

②Foo＝B
マスタはこのサーバだ！
①Foo＝A
②Foo＝B

②Put Foo B
①Put Foo A


41


参考


42


ゴシッププロトコル
～一貫性向上～


43

ゴシッププロトコル
・サーバ間で情報交換
・古いデータは新しいデータで上書き
・マスタとスレーブの値がそのうち同じ（結果整合性）
・最新の値が見えるとは限らない


44


リードリペア
～一貫性向上～


45

リードリペア
・読み込み処理時に複数のサーバからデータを取得
・古いデータは新しいデータで上書き
・マスタとスレーブの値がそのうち同じ（結果整合性）
・最新の値が見えるとは限らない（確度を調整可能（QUORUM））


46


まとめ


47

要素技術
・コンシステントハッシング
・レプリケーション
・マスタ切替
・ゴシッププロトコル
・リードリペア


48


解決へのアプローチ


50

解決へのアプローチ

データ更新、ステータス更新に
分散合意アルゴリズムPaxos*を採用

* The Part-Time Parliament
LESLIE LAMPORT, 1998


51


Paxosとは


52

Paxosとは
サーバの集合が同じ処理を同じ順番で実行するためのアルゴリズム

Server1

Server2

Server3

1番目の処理

put(k1,v1)

put(k1,v1)

put(k1,v1)

2番目の処理

remove(k1)

remove(k1)

remove(k1)

i番目の処理

put(k1,v2)

put(k1,v2)

put(k1,v2)

整合

キー
k1

バリュー
v2

53

Paxosとは
Proposer：
1. i番目の処理を提案
Acceptor：
2. Acceptor間で過半数承認（i番目の処理を合意）
3. i番目の処理を実行
※i-1番目までの処理を実行していなければ、
i-1番目までの処理を他のAcceptorから取得して実行（FillGaps）


54


一貫性保証のための３つの実装


55


の回避


56

①複製順序不正による不整合の回避
Proposer：マスタを持つサーバ
Acceptor：マスタ、スレーブ１、スレーブ２を持つサーバ＋スペア*×２
* スペア：過半数承認用（２多重障害対応）。ストア操作なし。
サーバ１
put(k,v)

レンジ用
Paxos

実行
キュー

実行
スレッド

ストア
マスタ
スレーブ１
スレーブ２

サーバ２
マスタ
スレーブ１
スレーブ２

サーバ３
マスタ
スレーブ１
スレーブ２

サーバ４
マスタ
スレーブ１
スレーブ２

サーバ５
マスタ
スレーブ１
スレーブ２

57

Proposer：i番目の処理を提案
Acceptor：Acceptor間で過半数承認（i番目の処理を合意）
サーバ１

レンジ用
Paxos

put(k,v)

実行
キュー

実行
スレッド

ストア

ok

マスタ
スレーブ１
スレーブ２

ok

マスタ
スレーブ１
スレーブ２

ok

マスタ
スレーブ１
スレーブ２

ok

マスタ
スレーブ１
スレーブ２

ok

マスタ
スレーブ１
スレーブ２

i

サーバ２

サーバ３

サーバ４

サーバ５


58

Acceptor：i番目の処理を実行
”①複製順序不正による不整合”は発生しない！
サーバ１

レンジ用
Paxos

実行
キュー

put(k,v)

実行
スレッド

ストア

i

マスタ
スレーブ１
スレーブ２

i

マスタ
スレーブ１
スレーブ２

i

マスタ
スレーブ１
スレーブ２

サーバ２

サーバ３

サーバ４
マスタ
スレーブ１
スレーブ２

サーバ５
マスタ
スレーブ１
スレーブ２

59

サーバの集合が同じ処理を同じ順番で実行する
同じ処理ができなければ縮退（一貫性＞可用性）
サーバ１

レンジ用
Paxos

実行
キュー

実行
スレッド

ストア

put(k,v)

マスタ
スレーブ１
スレーブ２

i

サーバ２
i

失敗

マスタ
スレーブ１
スレーブ２

サーバ３
i

マスタ
スレーブ１
スレーブ２

サーバ４
マスタ
スレーブ１
スレーブ２

サーバ５
マスタ
スレーブ１
スレーブ２

60


の対処


61

②複製処理失敗による不整合の対処
一時的障害（サーバ、ネットワーク）

サーバ１
cas(k,v1,v2)

レンジ用
Paxos

実行
キュー

実行
スレッド

ストア
マスタ
スレーブ１
スレーブ２

サーバ２

一時的障害

マスタ
スレーブ１
スレーブ２

サーバ３
マスタ
スレーブ１
スレーブ２

サーバ４
マスタ
スレーブ１
スレーブ２

サーバ５
マスタ
スレーブ１
スレーブ２

62

サーバ１

レンジ用
Paxos

cas(k,v1,v2)
i

ok

実行
キュー

実行
スレッド

ストア
マスタ
スレーブ１
スレーブ２

サーバ２
マスタ
スレーブ１
スレーブ２

一時的障害

サーバ３

ok

マスタ
スレーブ１
スレーブ２

ok

マスタ
スレーブ１
スレーブ２

ok

マスタ
スレーブ１
スレーブ２

サーバ４

サーバ５


63


サーバ１

レンジ用
Paxos

実行
キュー

cas(k,v1,v2)
i

実行
スレッド

ストア
マスタ
スレーブ１
スレーブ２

サーバ２
マスタ
スレーブ１
スレーブ２

一時的障害

サーバ３
i

マスタ
スレーブ１
スレーブ２

サーバ４
マスタ
スレーブ１
スレーブ２

サーバ５
マスタ
スレーブ１
スレーブ２

64

不整合

サーバ１

レンジ用
Paxos

実行
キュー

実行
スレッド

ストア

cas(k,v2,v3)
i

サーバ２

マスタ
スレーブ１
スレーブ２

不整合
マスタ
スレーブ１
スレーブ２

サーバ３
i

マスタ
スレーブ１
スレーブ２

サーバ４
マスタ
スレーブ１
スレーブ２

サーバ５
マスタ
スレーブ１
スレーブ２

65

Proposer：i+1番目の処理を提案
Acceptor：Acceptor間で過半数承認（i+1番目の処理を合意）
サーバ１

レンジ用
Paxos

実行
キュー

実行
スレッド

ストア

cas(k,v2,v3)
i

i+1

ok
サーバ２

マスタ
スレーブ１
スレーブ２

不整合
マスタ
スレーブ１
スレーブ２

ok
サーバ３

ok

マスタ
スレーブ１
スレーブ２

ok

マスタ
スレーブ１
スレーブ２

ok

マスタ
スレーブ１
スレーブ２

i

サーバ４

サーバ５


66

Acceptor：FillGapsをおこなってからi+1番目の処理を実行

サーバ１

レンジ用
Paxos

実行
キュー

実行
スレッド

ストア

cas(k,v2,v3)
i

i+1

サーバ２

マスタ
スレーブ１
スレーブ２

不整合
FillGaps

マスタ
スレーブ１
スレーブ２

i+1 i

サーバ３
i+1

i

マスタ
スレーブ１
スレーブ２

サーバ４
マスタ
スレーブ１
スレーブ２

サーバ５
マスタ
スレーブ１
スレーブ２

67

不整合
永久的障害によるマスタ切替
サーバ１

レンジ用
Paxos

実行
キュー

実行
スレッド

永久的障害

サーバ２
get(k)

ストア
i

マスタ
スレーブ１
スレーブ２

不整合
マスタ
マスタ
スレーブ２

マスタ切替

サーバ３
i

マスタ
スレーブ１
スレーブ２

サーバ４
マスタ
スレーブ１
スレーブ２

サーバ５
マスタ
スレーブ１
スレーブ２

68

Acceptor：マスタ切替後はFillGapsをおこなってからgetを受付
”②複製処理失敗による不整合”が発生しても一貫性を保証する！
サーバ１

レンジ用
Paxos

実行
キュー

実行
スレッド

永久的障害

ストア
i

サーバ２

マスタ
スレーブ１
スレーブ２

不整合

get(k)

マスタ
マスタ
スレーブ２

FillGaps i

マスタ切替

サーバ３
i

マスタ
スレーブ１
スレーブ２

サーバ４
マスタ
スレーブ１
スレーブ２

サーバ５
マスタ
スレーブ１
スレーブ２

69

サーバの集合が同じ処理を同じ順番で実行する
同じ順番でできなければ縮退（一貫性＞可用性）
サーバ１

レンジ用
Paxos

実行
キュー

実行
スレッド

永久的障害

ストア
i

サーバ２
get(k)

失敗

マスタ
スレーブ１
スレーブ２

不整合
マスタ
マスタ
スレーブ２

FillGaps

マスタ切替

サーバ３
i

マスタ
スレーブ１
スレーブ２

サーバ４
マスタ
スレーブ１
スレーブ２

サーバ５
マスタ
スレーブ１
スレーブ２

70


の対処


71

③スプリットブレインによる不整合の対処
L2スイッチの障害

サーバ１
３×
４×
５×

クラスタ用
Paxos

実行
キュー

実行
スレッド

ストア
マスタ
スレーブ１
スレーブ２

サーバ２
３×
４×
５×

マスタ
スレーブ１
スレーブ２

スプリット

サーバ３
１×
２×

マスタ
スレーブ１
スレーブ２

サーバ４
１×
２×

マスタ
スレーブ１
スレーブ２

サーバ５
１×
２×

マスタ
スレーブ１
スレーブ２

72

Proposer：障害を検知したサーバ
Acceptor：すべてのサーバ
サーバ１
３×
４×
５×

クラスタ用
Paxos

実行
キュー

実行
スレッド

ストア
マスタ
スレーブ１
スレーブ２

サーバ２
３×
４×
５×

マスタ
スレーブ１
スレーブ２

スプリット

サーバ３
１×
２×

マスタ
スレーブ１
スレーブ２

サーバ４
１×
２×

マスタ
スレーブ１
スレーブ２

サーバ５
１×
２×

マスタ
スレーブ１
スレーブ２

73

サーバ１
３×
４×
５×

クラスタ用
Paxos
i+2 i+1

i

ok ok ok

実行
キュー

実行
スレッド

ストア
マスタ
スレーブ１
スレーブ２

サーバ２
３×
４×
５×

i+2 i+1

i

ok ok ok

マスタ
スレーブ１
スレーブ２

スプリット

サーバ３
１×
２×

合意
i+1

i

ok ok

マスタ
スレーブ１
スレーブ２

サーバ４
１×
２×

i+1

i

ok ok

マスタ
スレーブ１
スレーブ２

サーバ５
１×
２×

i+1

i

ok ok

マスタ
スレーブ１
スレーブ２

74


サーバ１
３×
４×
５×

クラスタ用
Paxos
i+2 i+1

実行
キュー

実行
スレッド

ストア
マスタ
スレーブ１
スレーブ２

i

ok ok ok

サーバ２
３×
４×
５×

i+2 i+1

マスタ
スレーブ１
スレーブ２

i

ok ok ok

スプリット

サーバ３
１×
２×

i+1 i

マスタ
スレーブ１
スレーブ２

i+1 i

マスタ
スレーブ１
スレーブ２

i+1 i

マスタ
スレーブ１
スレーブ２

サーバ４
１×
２×
サーバ５
１×
２×


75

不整合
複数マスタ
サーバ１
get(k)

３×
４×
５×

クラスタ用
Paxos
i+2 i+1

実行
キュー

実行
スレッド
不整合

i

ok ok ok

ストア
マスタ
スレーブ１
スレーブ２

サーバ２
３×
４×
５×
get(k)

不整合
i+2 i+1

i

ok ok ok

マスタ
スレーブ１
スレーブ２

スプリット

サーバ３
１×
２×

i+1 i

マスタ
マスタ
マスタ

マスタ切替
FillGaps

サーバ４
１×
２×

i+1 i

マスタ
スレーブ１
スレーブ２

サーバ５
１×
２×

i+1 i

マスタ
スレーブ１
スレーブ２

76

Acceptor：過半数サーバ縮退の提案が通らなければgetを拒否
”③スプリットブレインによる不整合”が発生しても一貫性を保証する！
サーバ１
get(k)

失敗

３×
４×
５×

クラスタ用
Paxos
i+2 i+1

実行
キュー

実行
スレッド
不整合

i

ok ok ok

ストア
マスタ
スレーブ１
スレーブ２

サーバ２
３×
４×
５×
get(k)

不整合
i+2 i+1

i

ok ok ok

マスタ
スレーブ１
スレーブ２

スプリット

サーバ３
１×
２×

i+1 i

成功

マスタ
マスタ
マスタ

マスタ切替
FillGaps

サーバ４
１×
２×

i+1 i

マスタ
スレーブ１
スレーブ２

サーバ５
１×
２×

i+1 i

マスタ
スレーブ１
スレーブ２

77


まとめ


78

Paxos
・サーバの集合が同じ処理を同じ順番で実行するためのアルゴリズム


79

他社商品名、商標等の引用に関する表示

•
•
•

Javaは、Oracle Corporation 及びその子会社、関連会社の米国及びその他の国における登録商標です。
その他、記載の会社名、製品名は、それぞれの会社の商標または登録商標です。
製品の改良により予告なく記載されている仕様が変更になることがあります。


80

db tech showcase 東京 2013

END
インメモリ分散KVSの弱点。一貫性が崩れる原因と、それを克服する技術とは？

2013/11/13
日立製作所情報・通信システム社
ソフトウェア開発本部第２ＡＰ基盤ソフト設計部

梅田多一

[C16] インメモリ分散KVSの弱点。一貫性が崩れる原因と、それを克服する技術とは？ by Taichi Umeda

[C16] インメモリ分散KVSの弱点。一貫性が崩れる原因と、それを克服する技術とは？ by Taichi Umeda

More Related Content

[C16] インメモリ分散KVSの弱点。一貫性が崩れる原因と、それを克服する技術とは？ by Taichi Umeda