ZFSでストレージ

ZFS でストレージ
でも、ストレージだけじゃない ZFS

hbstudy #12

みやざきさとる
株式会社ＮＥＣ情報システムズ
日本 OpenSolaris ユーザグループ

自己紹介
自社グループ向けの SI をやってます
ストレージとかも触ってます
OpenSolaris なのは趣味です
趣味を仕事に持ち込むとか
m9 （＾ Д ＾）プギャー

hbstudy#12
pg 2
ZFS でストレージでもストレージだけじゃない ZFS

アジェンダ
こんなに速い ZFS
ZFS が遅くなる訳
ZFS ストレージの実際
ストレージ以外でも便利な ZFS
スナップショットとクローンのおいしい使い方

hbstudy#12
pg 3

ところでこれをみてくれ
multistream read1m multistream write1m randomread1m randomwrite1m

4000

3556
3500

3000 2881
2677
2500
2152
MB/s

2000

1620
1500 1334

1000 850 832

480 520 527
500
447

0
stripe raidz1 raidz2

hbstudy#12
pg 4

こいつをどう思う？
random IOPS randomread2k randomwrite2k

180000

160000 157368

140000

120000

100000
IOPS

80000

60000

40000 36348

20000

4085 1117 500 429
0

hbstudy#12
pg 5

測定したのはこのマシン
X4400( コントローラ )
J4400×1 SATA HDD 1TB×22
2 Quad Core CPU
64GB メモリ
SSD Read cache
100GB×1
SSD Write cache
16GB×2
OpenSolaris に入っている filebench を使用し
て計測
hbstudy#12
pg 6

でもなんか、 RAIDZ の性能が ...

multistream read1m multistream write1m randomread1m randomwrite1m

4000

3556
3500

3000 2881
2677
2500
2152
MB/s

2000

1620
1500 1334

1000 850 832

480 520 527
500
447

0

hbstudy#12
pg 7

でも、もう少し速くしたい (1)
事前にキャッシュをフラッシュする・しないで比較してみよう
raidz2 no cache raidz2 on cache

7000

6042
6000

5000

4026
4000
MB/s

3000

2317
2000

1000
444 529 399 475
226
0
multistreamread 1m multistreamwrite 1m randomread 1m randomwrite 1m

hbstudy#12
pg 8

でも、もう少し速くしたい (2)
キャッシュというのは ARC(Adaptive Replacement
Cache) のこと
raidz2 no cache raidz2 on cache

300000

259206
250000

200000

150000
IOPS

100000

50000

511 413 3611
0
randomread2k randomwrite2k

hbstudy#12
pg 9

ZFS は遅い？

メモリをいっぱい積めば速くなります
CPU も速くすれば速くなります
HDD を増やすとやっぱり速くなります
NAS にするなら、 LACP で束ねるとか
10G とかで繋げば (ry
FC で繋げば (ry
FCoE で (ry
InfiniBand で (ry

hbstudy#12
pg 10

ここで、 ZFS のおさらい
128bit ファイルシステム
大容量のファイルに対応
HDD をストレージプールとして管理し、
簡単に HDD 増設が可能
RAID(0,1,5,6) に相当する機能を提供
Copy-on-Write によるデータ完全性の保証
スナップショット・クローン機能
Hybrid Storage Pool Architecture

hbstudy#12
pg 11

ここで、 ZFS のおさらい
他にも重複排除とかの新機能
詳しくは、以下の資料
(OpenSolarisNightSeminar の資料 ) を参考
http://jp.sun.com/developers/events/nightSeminar/
PDF/OSNS-Solaris_ZFS-20090306.pdf
http://mediacast.sun.com/users/hiroa/media/OSNS
_ZFS-20090710.pdf/details
http://mediacast.sun.com/users/hiroa/media/OSHT
_ZFS-20091218.pdf/details

hbstudy#12
pg 12

Hybrid Storage Pool Architecture とは
メモリ +SSD+HDD でストレージプールを構成
ARC – Adaptive Replacement Cache
メモリ上にある ZFS の Cache
L2ARC – Level 2 ARC
高速
ARC からあふれた部分を保存メモリ
ZIL – ZFS Intent Log SSD 中速
同期書き込み用ログ領域
Disk Storage Pool HDD 低速
SATA 等の HDD
上記 ARC/L2ARC/ZIL の機能に
より、高速の Disk を使用しなくても高性能を実現
hbstudy#12
pg 13

ARC/L2ARC の役割

ARC は、読み込み・書き込みキャッシュ
ARC はメモリを使用
ARC は動的に増えていく
最大で、メインメモリの 1GB を残した全部
もしくは全体の 3/4 を使用
ARC からこぼれたモノが L2ARC(SSD) に
書き込まれる

hbstudy#12
pg 14

メモリが多いと ZFS は速くなる
メモリが多ければ多いほど ARC も多くなる
ARC にあるデータは、アクセスが速くなる
結論

メモリが多いと ZFS は速い！
L2ARC に落ちると遅くなる。が、 L2ARC を HDD より
速い SSD 上に置くと、 HDD のみより速くなる

hbstudy#12
pg 15

ZFS で CPU パワーが必要な訳

ZFS で CPU パワーが必要な処理
ブロック単位の Checksum
RAIDZ のパリティ計算
圧縮
重複排除

hbstudy#12
pg 16

ブロック単位の Checksum
ZFS は、ブロックごとに Checksum を保存
Checksum と比較することでデータの完全性を保証
セルフヒーリング
データを重複化してた場合は、正常データのみを読み込
み、異常データを正常データで上書き

Checksum 計算に CPU が必要
CPU の暗号化支援機能を使用可能
CPU の暗号化支援機能で、 CPU 使用率を低下

hbstudy#12
pg 17

圧縮・重複排除
圧縮は CPU が実行
重複排除は Checksum を元に同じデータの
ブロックがあるかどうかを探す
これら機能を ON にしていると、
CPU パワーがより必要になる

hbstudy#12
pg 18

RAIDZ のパリティ計算

RAIDZ はソフトウェア RAID
パリティ計算を CPU で行う
RAIDZ2 だとさらに倍。 RAIDZ3 だと３倍
ストライプ幅がパリティ計算量を決める
あまり長いストライプ幅すると、計算量が増える
HDD は 7 個以下にしたときがパフォーマンス
がよい

hbstudy#12
pg 19

RAIDZ 構成の例
Stripe RAIDZ2 WIDE(≒ RAID6)
（可用性：低、性能：高、容量：大）（可用性：中、性能：低、容量：大）

Stripe RAIDZ2
SSD SSD
スペア

RAIDZ(≒ RAID5) RAIDZ2(≒ RAID6)
（可用性：高、性能：中、容量：中）（可用性：高、性能：中、容量：中）

RAIDZ RAIDZ RAIDZ2
RAIDZ RAIDZ RAIDZ2
SSD SSD
スペア RAIDZ スペア

hbstudy#12
pg 20

RAIDZ を追加するとき

同じ RAIDZ 構成なら、追加可能
仮想デバイス (mirror や
raidz 等の単位 ) を
RAIDZ2
ストライプの様に接続
SSD RAIDZ2
仮想デバイス間でスペア

アクセスが分散する RAIDZ2
RAIDZ2
HDD を増やした方が SSD
スペア

速くなる RAIDZ2
SSD RAIDZ2
スペア

hbstudy#12
pg 21

では実際に ZFS でストレージを ...
どういうハードウェアで？
CPU とメモリはいっぱい積もう。
RAID 構成は？
HW RAID? それとも RAIDZ/RAIDZ2 ？
どうやって繋ぐ？
NFS ですか？ iSCSI ですか？
でも、 Gbit Ether だと遅い
SSD はどう使う？
拡張はどうする？
hbstudy#12
pg 22

RAIDZ vs Hardware RAID

安い RAID カードには圧勝 ( のはず )
実際には CPU の差なので
キャッシュメモリ量も圧勝
高い RAID カードでも 4GB とか？
しかも、容易に増やせる
結論
特に理由がなければ RAIDZ で万全

hbstudy#12
pg 23

NFS の場合

ZFS で NFS は意外と速いです
カーネル空間で動く
まともに NFSv4 が動きます
NFS を開発した会社を言ってみろ
ただし、普通に動かすと何故か遅い
誰が悪い？
原因は ZIL
hbstudy#12
pg 24

ZIL(ZFS Intent Log) の役割

ZIL は、同期書込時に使用されるログ情報
O_DSYNC つきで open() したり、 fsync() が実施されたと
きなど
NFS も iSCSI も同期書き込み
ARC から HDD への書き込みは、非同期
5 〜 30 秒に一度シーケンシャルに書き込む
→ HDD へ一度に書き込むので速い
同期書き込み時にも、非同期で HDD に書き込
むための機構が ZIL
ZIL が役に立つのはクラッシュ時
クラッシュ時には、 ZIL から復旧する
hbstudy#12
pg 25

ZIL で遅くなる場合

NFS や iSCSI などでアクセス
大抵同期書き込み

ZIL を分離していない場合
同期書き込み時に ZIL へのアクセスが集中する。
ZIL が分離されていないと、 ZIL へのアクセスが他の
HDD アクセスと競合して遅くなる

hbstudy#12
pg 26

ZIL で遅くなる場合の対処

ZIL をオフにする
確かに速くなる
が、クラッシュ時にデータ内容が保証されない
※今後は、オフ出来なくなるという噂
ZIL を分離する
ZIL を HDD から別デバイスに分離し
アクセスを分散、高速化
※ ZIL を SSD 化すると、より高速に
ZIL を分離してストライプで提供
するともっと速くなる
→ミラーにした方が堅牢性は高い
hbstudy#12
pg 27

iSCSI の場合

NFS より遅い！
iscsitgt の一部がユーザ空間で動くから
でも、 COMSTAR なら大丈夫
COMSTAR はカーネル空間で動く！
COMSTAR とレガシー iSCSI(iscsitgt) では
数倍の性能差が出る！
詳細は brendan さんのブログ参照
http://blogs.sun.com/brendan/entry/iscsi_be
fore_and_after

hbstudy#12
pg 28

COMSTAR って何者？
COMSTAR とは？
Common Multiprotocol SCSI Target
OpenSolaris のストレージフレームワーク
OpenSolaris の Volume を SCSI Target に
Volume
生 HDD 、 ZFS Volume 、ファイル
接続先
iSCSI 、 FC 、 FCoE 、 InfiniBand など

hbstudy#12
pg 29

COMSTAR をもっと知るには

COMSTAR には OpenSolaris 勉強会 for
Admin( 仮 ) が効きます
http://wikis.sun.com/display/JpOpenSolaris/TokyoOpenSol
arisStudyGroup
神資料その１
「 COMSTAR で iSCSI 」
http://docs.google.com/present/view?id=dpdpddx_4dnvjv7c9
神資料その２
「前回の COMSTAR ネタに刺激されてしまったので、オ
レも COMSTAR を使ってみた。」 ( 仮 )
http://wikis.sun.com/download/attachments/204308497/osol_co
mstar_20100522.pdf

hbstudy#12
pg 30

SSD の使い方

L2ARC に使うか ZIL に使うか
L2ARC は ARC より遅い
L2ARC にお金をつぎ込むより、メモリを増やし
た方が良い
ZIL を使う場合は、少なくとも分離する。
できれば SSD におく。
結論
SSD はまず ZIL で使え
hbstudy#12
pg 31

ZFS ストレージの拡張

stripe 構成ではスケールアウトする
ただし冗長性が ...

zpool

○

hbstudy#12
pg 32


RAIDZ 構成では冗長性確保される
RAIDZ 構成にディスクを追加することは
できない
zpool
RAIDZ

×

hbstudy#12
pg 33


RAIDZ 構成ではスケールアウトしない
でも、スケールアップはする
ただし、構成が一緒である必要がある
zpool
RAIDZ

+
RAIDZ

hbstudy#12
pg 34

拡張時には、 Offline にする必要が ...
iSCSI ディスクなら Online で増設
USB とか FC とかでも出来るけど
devfsadm でデバイス再構成
接続したディスクを再起動なしに認識出来る
/reconfigure 作って再起動とか
boot -r とかは必要ない

hbstudy#12
pg 35

iSCSI ディスクを使う構成例

一番単純な構成サーバ

iSCSI ディスク
(OpenSolaris)

hbstudy#12
pg 36


RAID にしてみるサーバ
RAIDZ
LACP で
束ねる

Switch

iSCSI ディスク

hbstudy#12
pg 37


RAID で増設するときサーバ
RAIDZ
RAIDZ

Switch

iSCSI ディスク

hbstudy#12
pg 38

サーバ側で ZFS の理由
ARC を有効に使える
ARC が一番速いので、 ARC がサーバ側にあ
る方が有利
Network/FC などディスクと繋ぐ経路が
ボトルネックになる
OpenSolaris が素敵
Solaris コンテナとかね

hbstudy#12
pg 39

ここまでのまとめ
ZFS は速い
ただし、リソースはたくさん必要、
特にメモリ
ネットワークはボトルネックになる
ZFS はスケールアップ指向
スケールアウトさせるには別製品を使いましょう
COMSTAR 最高！
OpenSolaris 素敵！

hbstudy#12
pg 40

ストレージ以外の ZFS の魅力
スナップショット・クローンが
異常に使える件
バックアップ
バージョンアップ

hbstudy#12
pg 41

スナップショットのおさらい
スナップショットは ReadOnly
Original の UberBlock とポインタをコピー

Snapshot UberBlock UberBlock Original

ポインタポインタ

間接ポインタ

データ

hbstudy#12
pg 42

スナップショットのおさらい
Original に変更があるとブロック部とポインタ部だけが変
更される

Snapshot UberBlock UberBlock Original

new new
hbstudy#12
pg 43

クローンのおさらい
クローンは ReadWrite
スナップショットの UberBlock
とポインタをコピー Clone Original

Snapshot UberBlock UberBlock UberBlock

hbstudy#12
pg 44

クローンのおさらい
Original ・クローンに変更があると
ブロック部とポインタ部だけが変更される
Clone Original

Snapshot UberBlock UberBlock UberBlock

new
new new
hbstudy#12
pg 45

スナップショットでバックアップ
バックアップはスナップショット単位
バックアップは zfs send
# zfs send rpool@snap > /tmp/snap.zfs.img
リストアは zfs receive
# zfs receive rpool2 < /tmp/snap.zfs.img
ZFS ツリーもいっぺんにバックアップ
# zfs snapshot -r rpool/export@snap
# zfs send -R rpool/export@snap >
/tmp/snap.zfs.img
# zfs receive < /tmp/snap.zfs.img
hbstudy#12
pg 46

２サーバ間でバックアップ
ファイルベースなので、サーバ間でバックアッ
プ・リストア可能
# zfs snapshot -r rpool/zone@20100610
# zfs send -R rpool/zone@20100610 |
ssh serverB zfs receive rpool
差分バックアップも
# zfs snapshot -r rpool/zone@20100611
# zfs send -R -i rpool/zone@20100610
rpool/zone@20100611 | ssh serverB zfs receive rpool

hbstudy#12
pg 47

差分バックアップの例
ServerA ServerB

rpool@20100610 rpool@20100610

snapshot 全体のコピー
hbstudy#12
pg 48

ServerA ServerB

rpool@20100611 rpool@20100611

rpool@20100610 rpool@20100610

snapshot 差分のコピー
hbstudy#12
pg 49

ServerA ServerB
rpool@20100612 rpool@20100612

rpool@20100611 rpool@20100611

rpool@20100610 rpool@20100610

snapshot 差分のコピー
hbstudy#12
pg 50

差分の分だけ容量を消費する
一日ごとにバックアップ
→容量が増える
一日前には戻りたいけど、
数週間前のある一日に戻りたいか？
一週経ったら、日単位のバックアップって要らな
くね？
よし、削除しよう

hbstudy#12
pg 51

差分バックアップの削除例
Before After
rpool@20100612 rpool@20100612

rpool@20100611

rpool@20100610 rpool@20100610

snapshot 差分の削除
hbstudy#12
pg 52

差分バックアップの利用例
Zone の同期による Active-Standby 構成
Zone 部分を二台のサーバで同期
片系がダウンしても、もう片方で動作
Zone の領域は ZFS
これを Attach/Detach することが出来る
% pfexec zoneadm -z zonename attach
% pfexec zoneadm -z zonename detach
Zone の情報は Standby 機にコピー
% pfexec zonecfg -z zonename export |
ssh ServerB pfexec zonecfg -z zonename
hbstudy#12
pg 53

Zone の Active-Standby 構成

ServerA ServerB

Attach Zone Detach
起動中

Zone 同期 Zone

hbstudy#12
pg 54

Zone の Active-Standby 構成

ServerA ServerB

Attach Zone Attach
起動中

Zone Zone

hbstudy#12
pg 55

ZFS 同期による Active−Stanby 構成

簡単な方式なので、クリティカルな場面では使
えない
同期間隔があるので、データロストする
→データは別の場所に置く必要あり
DB などには向かない構成
DB を止めてからスナップショットを取れば、整
合性は保たれます
ちなみに、 Zone だけでなく
Dom-U の領域も同様の方法で ...
hbstudy#12
pg 56

クローンによる起動環境の複製
OpenSolaris では beadm で、 Boot
Environment( 起動環境 =BE) を管理
新しい BE は、現 BE の複製 ( クローン )
クローンなので、差分しか増えない
BE は grub 画面で選択可能
BE の削除は自由
ただし、起動中の BE は削除出来ない
BE に対する操作も可能
beadm mount で、領域をマウント出来る
マウント後設定ファイル修正など
hbstudy#12
pg 57

アップデート時の起動環境の複製
pkg image-update(apt-get dist-upgrade 的な
操作 ) による複数パッケージ更新時には、自動
的に新しい BE を作成し、新しい BE を更新す
る
アップグレード時に、サービス停止が発生しな
い
→ サービス停止時間の短縮
アップグレードに失敗したら、旧 BE で起動すれ
ばよい
hbstudy#12
pg 58

BE 複製の問題点

rpool を ZFS upgrade すると旧 BE で立ち上
がらなくなる可能性あり
rpool とデータ領域は、 zpool ごと分けるのが
お勧め

hbstudy#12
pg 59

ストレージだけじゃない ZFS まとめ
ZFS サイコー
スナップショット・クローンは有用
send/receive でバックアップも楽々
設計がめんどくさいのはどれも一緒
Zone の多重化もそこはかとなく出来る
ちゃんとやりたければ OpenHA がある
BE を使うことで複数環境を切り替え
アップデート時に新しい BE に更新する
サービス停止時間の低減
ZFS サイコー
hbstudy#12
pg 60

ZFS でストレージ
でも、ストレージだけじゃない ZFS

ご静聴ありがとうございました。

hbstudy#12
pg 61

参考資料
ZFS 仮想化されたファイルシステムの徹底活用
# ISBN-10: 4048676547
# ISBN-13: 978-4048676540

世界初の ZFS 本
ZFS Essentials の方が後です
超お勧め

hbstudy#12
pg 62

参考資料
OpenSolaris Night Seminar 資料
http://jp.sun.com/developers/events/nightSeminar/PDF/OSN
S-Solaris_ZFS-20090306.pdf
http://mediacast.sun.com/users/hiroa/media/OSNS_ZFS-
20090710.pdf/details
http://mediacast.sun.com/users/hiroa/media/OSHT_ZFS-
20091218.pdf/details
OpenSolaris 勉強会 for Admin( 仮 ) 資料
http://docs.google.com/present/view?
id=dpdpddx_4dnvjv7c9
http://wikis.sun.com/download/attachments/204308497/osol
_comstar_20100522.pdf

hbstudy#12
pg 63

参考資料
ZFS Best Practices Guide
http://www.solarisinternals.com/wiki/index.php/ZFS_Best_
Practices_Guide
ZFS Evil Tuning Guide
http://www.solarisinternals.com/wiki/index.php/ZFS_Evil_T
uning_Guide
一番最後のリンク集も参考になります
http://www.solarisinternals.com/wiki/index.php/ZFS_Evil_T
uning_Guide#Integrated_RFEs_that_introduced_or_chang
ed_tunables
Brendan Gregg 氏のブログ
http://blogs.sun.com/brendan/

hbstudy#12
pg 64

ZFSでストレージ

More Related Content

ZFSでストレージ