Location via proxy:
[ UP ]
[Report a bug]
[Manage cookies]
No cookies
No scripts
No ads
No referrer
Show this form
Submit Search
DBTS2015 Tokyo DBAが知っておくべき最新テクノロジー
•
15 likes
•
10,791 views
Masaya Ishikawa
Follow
db tech showcase 2015 Tokyo
Read less
Read more
Report
Share
Report
Share
1 of 44
Download now
Download to read offline
More Related Content
DBTS2015 Tokyo DBAが知っておくべき最新テクノロジー
1.
DBAが知っておくべき 最新テクノロジー 株式会社インサイトテクノロジー CTO 石川 雅也
2.
Disclaimer 本資料の内容はすべて執筆者の個人的な見解であり、株式会社インサ イトテクノロジーの公式な見解を示すものではありません。 本資料内で使用されている社名、ロゴ、製品、サービス名およびブラ ンド名は、該当する各社の登録商標または商標です。 本資料内でベンチマークプログラムの一部または全てを使用して性能 測定している場合、データベースのベンチマーク目的ではありません。 本資料の一部あるいは全体について許可無く複製および転載すること を禁じます。 Copyright © 2014
Insight Technology, Inc. All Rights Reserved. 2
3.
• 石川 雅也
(いしかわ まさや) • 現職 o 株式会社インサイトテクノロジー 取締役 CTO FB: MasayaIshikawa • 職歴 o 外資系HWベンダーにて、ミニコンOS, UNIX OS担当SE. 社内SE向け技術情報 発信、トラブルシュート。crash dump解析、UNIX SCSI Device Driver改造とか o 1993年 日本オラクルに入社。DBインフラ系テクニカルサポート、 コンサルティング、トラブルシュート。 o 1995年 インサイトテクノロジー設立 Oracleパフォーマンス管理ツール Performance Insight開発 (1995~) Oracleアクセスログ取得管理ツール PISO開発 (2004~) SQL Server版、富士通Symfoware版 PISO開発 (2005~) DB コンサルティング、トラブルシュート 2009年 SSDのR&D開始 2011年1月 DB向けIAサーバー Insight Qube R&D開始 2012年3月 Insight Qube発表 自己紹介 Copyright © 2014 Insight Technology, Inc. All Rights Reserved. 3
4.
Copyright © 2014
Insight Technology, Inc. All Rights Reserved. 4 Designed in Ebisu Rethink Optimized Database Environment
5.
Copyright © 2014
Insight Technology, Inc. All Rights Reserved. 5 Low Performance メモリの不足によりI/Oが多発し、またI/O の制約によって全体性能は制限されていた CPU/Mem NFS/SAN/iSCSI HDD CPU/Mem SSD < < InfiniBand ≦ High Performance I/O制約を取り除き、さらに大容量メモリによ りLatency向上し、CPU性能を最大限に発揮 Insight Qube とは たった4つしかないデータベースのボトルネック要素(システムリソース)の 帯域を拡げ CPU性能を最大限に発揮するよう設計されたサーバーである
6.
InfiniBand (8 or 18port) ストレージノード データベースノード Real
Application Cluster Automatic Storage Management / Oracle Clusterware 最低3ノードから 最大30ノード程度 (データベースノード数により増減) SSD容量 実効 200GB~6TB/ストレージノード ノードあたり CPU:4core~24core(Intel Xeon) / Memory:4GB~768GB Insight Qube Cluster 構成イメージ Copyright © 2014 Insight Technology, Inc. All Rights Reserved.
7.
Copyright © 2014
Insight Technology, Inc. All Rights Reserved. 7 他社DB専用機と同等性能 ~ OLTP処理 実顧客での PoCテスト内容: 約30GB相当のデータをRAC2ノードからinsert (シーケンシャル/ランダム ライト)のテストを実施 DBアプライアンス 製品 IAサーバー + SSDキャッシュ ストレージ Insight Qube 構成 <DBサーバ 2台> Oracle 11gR2, RAC構成(2node) CPU: Xeon5690 (3.46GHz/6core) Memory: 48GB <ストレージサーバ 3台> 5.8TB(実効容量2.9TB) 1ストレージサーバあたり: 240GB SSD × 8枚 処理時間(秒) Oracle
8.
0 500 1000 1500 2000 2500 3000 3500 4000 日次バッチ A 日次バッチ
B 日次バッチ C 日次バッチ D 日次バッチ E 月次バッチ全体 93 100 142 511 516 2122 191 105 174 448 1043 3287 314 375 174 807 1599 3606 Insight Qube DB専用機 (国内メーカー) DBアプライアンス製品 Copyright © 2014 Insight Technology, Inc. All Rights Reserved. 8 他社DB専用機より高性能 ~ Batch処理 実顧客での PoCテスト内容: 元データ 約800GBに対する各種日次/月次バッチ処理の処理時間を比較 処理時間(秒) Oracle Insight Qube 構成 <DBサーバ 2台> Oracle 11gR2, RAC構成(2node) CPU: Xeon E5-2680 (2.7GHz/8core) Memory: 512GB <ストレージサーバ 3台> 4.3TB(実効容量2.15TB) 1ストレージサーバあたり: 240GB SSD × 6枚
9.
Insight Qubeは何故速いのか? • 特別はハードウェアは使用していない。 (コモディティなパーツだけで構成) •
たった4つしか無いボトルネック要素だが、細かい要因 に分けていくと、検討出来る項目は数100箇所に及ぶ。 それらの項目も、パーツの組合せ、各データベースの特 性、処理するワークロードの特性などにより最適な解は 異なる。それらの最適な解を一つ一つ検証し、適用して いった結果が Insight Qubeの速度を生んでいる。 9Copyright © 2014 Insight Technology, Inc. All Rights Reserved.
10.
今回のセッションの 目的とゴール 目的 • DBAとして押さえるべき 最新テクノロジーをわか りやすく紹介する。 • 今回は主にストレージの 観点から、HDD,
Flash, 仮 想化、クラウドなど (実はHDD, 仮想化は初めて 話します) Copyright © 2015 Insight Technology, Inc. All Rights Reserved. 12 ゴール • 最新のストレージ技術に ついて正しい知識を得る (ベンダーに騙されないた めに) • その他ストレージ界隈の 技術について知見を得る
11.
今日のお品書き • HDD o High
Capacity – SMR, Helium-filled HDD • Flash o High Capacity SSD Trend o High Performance – NVMe • Virtualization, Cloud o Software Defined Storage – Server SAN o Private Cloud - OpenStack o Public Cloud Storage 13
12.
Storage HDD Copyright © 2014
Insight Technology, Inc. All Rights Reserved. 14
13.
Copyright © 2015
Insight Technology, Inc. All Rights Reserved. 15 http://www.slideshare.net/COMPUTEX/2014-bigdataforumhgst
14.
Copyright © 2014
Insight Technology, Inc. All Rights Reserved. 16 http://www.hgst.com/ja/science-of-storage/next-generation-data-centers/10tb-smr-helioseal-hdd
15.
SMR • SMR –
Shingled Magnetic Recording • Shingle = 瓦 • HGST 10TB, Seagate 8TB (3.5”) Copyright © 2015 Insight Technology, Inc. All Rights Reserved. 17
16.
Shingled Magnetic Recording Copyright
© 2015 Insight Technology, Inc. All Rights Reserved. 18
17.
• Only Archive
(Cold Storage) • DO NOT USE for RAID-5 • DO NOT USE for DATABASE Copyright © 2015 Insight Technology, Inc. All Rights Reserved. 19 Shingled Magnetic Recording
18.
Copyright © 2014
Insight Technology, Inc. All Rights Reserved. 20
19.
Helium-filled HDD • ヘリウムを密封したHDD
現在は HGSTのみ • 空気抵抗が1/7になることにより o プラッターの数が 5 から 7に増加し大容量化 o 消費電力低減、静音化、低温化 • 密封していることにより o 空気が入らないため故障率が激減 MTBF 250万時間 o 空冷以外の新たな冷却方式が採用可能 (水冷/油冷?) • 普通の7,200回転と同じ速度と思って下さい • 価格は従来のHDDよりまだ若干高めだが、電力・ スペースコストを考えると良い選択肢となる Copyright © 2015 Insight Technology, Inc. All Rights Reserved. 21
20.
Storage Flash Copyright © 2015
Insight Technology, Inc. All Rights Reserved. 22
21.
大容量・低価格SSDの登場 • 4~6TB SSD
(2.5” 9.5mm厚) • 2.5” HDDは最大でも2TB弱 • SATA IFで書き込み寿命は 0.4~0.5 DWPD/5year • その分、価格も通常SSD(DWPD3.0)と比較して半額程度 高速HDDと比較すると似たような価格帯! • Archiveデータ用途 あるいは DWH/向け • DWHでも複数人が使用する=ランダムアクセスの場合は HDDと比較して非常に大きなアドバンテージ • 通常のSAS SSD(DWPD=3.0以上)でも 4TBなど大容量化が進んでいる。 Copyright © 2015 Insight Technology, Inc. All Rights Reserved. 23
22.
Enterprise SSD by
Interface Copyright © 2015 Insight Technology, Inc. All Rights Reserved. 24 https://intel.activeevents.com/sf14/connect/fileDownload/session/F43F980A53C61EF7AF426BEE22BB7402/SF14_SSDS003_101f.pdf
23.
Copyright © 2014
Insight Technology, Inc. All Rights Reserved. 25
24.
Copyright © 2015
Insight Technology, Inc. All Rights Reserved. 26 2015/06 現在
25.
Copyright © 2014
Insight Technology, Inc. All Rights Reserved. 27
26.
Technical Basics of
NVMe • All Parameters for 4kb command in single 64B command • Support deep queues (64K commands/queue, 64K queues) • Supports MSI-X and interrupt steering • Streamlined & simple command set (13 required commands) Copyright © 2015 Insight Technology, Inc. All Rights Reserved. 28
27.
Copyright © 2014
Insight Technology, Inc. All Rights Reserved. 30 FeRAM(強誘電体メモリ) MRAM(強磁性体メモリ) PRAM(相変化メモリ) ReRAM(抵抗変化型メモリ) 次世代 不揮発性 メモリ ReRAM
28.
NVMe Current Expectation Copyright
© 2015 Insight Technology, Inc. All Rights Reserved. 32
29.
NVMe in Fabric
Environment • NVMeを使用した All Flash アプライアンス のユースケース • ファブリック上 はSCSIプロトコル で通信 • NVMeとSCSIの プロトコル変換が必須 だが 100us以上のペナル ティ (NVMeのLatencyは 1~2桁us) Copyright © 2015 Insight Technology, Inc. All Rights Reserved. 34
30.
NVMe over Fabrics Copyright
© 2015 Insight Technology, Inc. All Rights Reserved. 35
31.
NVMe over Fabrics •
複数のファブリックタ イプにNVMeアーキテク チャを適用 o NVMe コマンドセット o NVMe マルチキューモデル • PCIe以外のファブリッ ク o RDMA (iWARP, RoCE and Infiniband) o NVMe over Fibre Channel (under developing) • NVMe Ver1.2(2014.9) で は規定が見送られた。 2015Q2に出る予定 Copyright © 2015 Insight Technology, Inc. All Rights Reserved. 36
32.
Hot Plugの難しさ • ホスト・スレージ・コン トローラーが
SATA/SAS と NVMe で異なるた め、今までと異なるアプ ローチでの開発が必要。 • NVMe Ver1.2で主要ドラ イバはHot Plugをサポー トしている(はず) Copyright © 2015 Insight Technology, Inc. All Rights Reserved. 37 Flash Memory SUMMIT 2014
33.
NVMe マシン設計の難しさ Copyright ©
2015 Insight Technology, Inc. All Rights Reserved. 38
34.
NVMeの現状 • Hot Plugは十分な検証が必要 •
HW RAIDは存在しないので、 SWで冗長化を行う必要がある。 あるいは冗長化が必要ないところで使用する。 • バランスの取れたサーバーを探す必要がある。 • Device側のFWも、まだ発展途上 (まだ良くなる) • データベースで使い処を考えるのならば… o 現状、冗長化の必要ないキャッシュ用途など o 今年中にはもう少し違った形の データベース向け NVMeサーバーを出したい Copyright © 2015 Insight Technology, Inc. All Rights Reserved. 39
35.
NVMe まとめ • NVMに最適化されたプロトコル 今後10年間以上、主流になるプロトコルである(と予想) •
Hot Plugのサポート • NVMe over Fabric で、SANもサポート Copyright © 2015 Insight Technology, Inc. All Rights Reserved. 40
36.
41 Virtualization
37.
Software Defined Storage •
既にバズワード化? • 各社 SDSと称している製品を出しているが、 機能やメリット/デメリット、アーキテクチャ千差万別 なので、使い処をきちんと把握する必要がある • (一般的に)必要とされている機能 o Automation o Policy Base Management o Self Service Management o Service Level Management o Standard Interface (API) o Virtualized Data Path o Scalability (Online Scaling) Copyright © 2015 Insight Technology, Inc. All Rights Reserved. 42
38.
Server SAN Copyright ©
2015 Insight Technology, Inc. All Rights Reserved. 43 http://wikibon.org/wiki/v/Server_SAN_Market_Definition
39.
Private Cloud -OpenStack •
OpenStack o クラウド環境構築のソフトウェア群 (AWS を自前で作るものと思って下さい) • Ironic o ベアメタル・プロビジョニング o Kiloリリース(2015.1)で正式採用 o 物理サーバーが元々持っている IPMI と PXE を利用して、 物理サーバーにプロビジョニングする。 • Trove o DBaaS (AWSの RDSを自前で 作るものだと思って下さい。) Copyright © 2015 Insight Technology, Inc. All Rights Reserved. 44
40.
Public Cloud -
Storage • AWS EBSボリューム 4,000 IOPS • AWS I2インスタンス 35,000~365,000 IOPS (4K Read) 35,000~315,000 IOPS (4K Write) • Azure プレミアム ストレージ 50,000IOPS~ (4K Read) • Google Compute Engine Local SSD (但し冗長化されない) 170,000~680,000 IOPS (4K Read) 90,000~360,000 IOPS (4K Write) Copyright © 2015 Insight Technology, Inc. All Rights Reserved. 45
41.
Public Cloud Managed SQL
Databases • AWS o RDS: MySQL, Oracle, MS SQL Server, PostgreSQL (OLTP) o RedShift (DWH) o Aurora (OLTP) • Microsoft Azure o Azure SQL • Google Compute Platform o Cloud SQL (OLTP: MySQL) o BigQuery (DWH: Dremel, 擬似SQL) • IBM Bluemix o SQL Database (OLTP: DB2) o その他 MySQL, PostgreSQL など (OLTP) o Analytic Warehouse (DWH: DB2) Copyright © 2015 Insight Technology, Inc. All Rights Reserved. 46
42.
Wrap up Copyright ©
2015 Insight Technology, Inc. All Rights Reserved. 47 • NVMeは次のトレンド o HDDの 2500倍の Random Readは破壊的な速度 o PCIe直結ではなく、SFF接続とすることで、 Hot Swapのサポート と 接続デバイス数を増やし、並列化・高速化することが可能 o 現在のNANDベースから次世代NVMになり 更なる高速化が可能 • ストレージ仮想化、クラウド o SDS: 目的に応じて製品機能を見極める必要がある。 o 性能が必要なシステムでは、クラウドはまだ力不足か? o 企業内データを扱うデータベースシステムとしては、まだ難しい部 分が多い o が、クラウド化・仮想化は今後の必須技術なので引き続きウォッチ
43.
Copyright © 2014
Insight Technology, Inc. All Rights Reserved. 48 Designed in Ebisu Rethink Optimized Database Environment
Download now