Location via proxy:   [ UP ]  
[Report a bug]   [Manage cookies]                
SlideShare a Scribd company logo
Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 1
あなたのビジネスを変える
InfiniDB ケーススタディ
株式会社アシスト
データベース技術本部
花谷 俊英
Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 2
はソフトウェア活用をアシストする会社です
Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 3
つなぐ 貯める 活かす
データ連携が標準化され、データ
加工/ロードが自動化、高速化
されたバックエンド
信頼性と高速性を同時に
実現できるデータベース
誰でも必要な時に必要な情報を活用
でき、柔軟性に富んだフロントエンド
自由分析
ダッシュボード
自由分析
ダッシュボード
定型レポート定型レポート
半定型レポート半定型レポート
DWH
データ整備
予算データ
販売システム
経理システム
ETLETL
データの
変換/加工
原価管理システム
DM(データマート)
BI
Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 4
InfiniDBの特長
Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 5
DWHにおけるユーザの期待
細かく幅広いデータ分析
- 精度/粒度/鮮度
- 保持期間
PDCAサイクルの活性化
- 要件変更の柔軟性、容易性
- デリバリスピード
利用ユーザ部門 企画・開発部門
快適なパフォーマンス
- ストレスを感じないレスポンス
- 情報提供までのスピード向上
高い投資対効果
- 初期投資の抑制、資産の流用
- 段階的な拡張性とシナリオ
シンプルなシステム基盤
- 維持運用コストの抑制
- 既存資産に対する影響小
経営・購買部門 情報システム・運用部門
Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 6
「DWH特化型DB」という製品分野
汎用RDBMS
DWH専用
アプライアンス
DWH専用ソフトウェア
パフォーマンス ×
担当者スキルに依存した性能
◎
専用機材で性能が担保される
○
機能特化することで高性能を実現
拡張性 ×
スケールアウトは困難
○
ただし、実際の拡張は高コスト
○
スケールアップ/アウトに対応
保守、運用性 △
確立されているケースが多い
△
ベンダー依存度が高い
○
システム任せの
要員、操作性 ○
使い慣れたインタフェース
△
専用のスキルや知識が必要
○
汎用RDBMSと同等
コスト △
安価なエディションあるが・・・
×
低コストは望めない
○
専用機材が不要
「DWHは、構築と運用にコストと時間がかかりすぎる」
「汎用RDBMSでは、もはや期待する検索パフォーマンスが出ない」
「DWHアプライアンスは、どれも高額で手が出せない」
Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 7
昨今の情報系インフラの選択肢
データウェアハウス
見るべき情報を
的確に見る、見せる
ビッグデータ
未知なる知見を
データからあぶり出す
構造化データ中心
数百GB~数十TB
構造化データに留まらず
非構造化データも
TBから PBにまたがることも
一般的なRDBMS
DWH専用機材
多種多様な選択肢が増加
(クラウド、Hadoop、NoSQL..)
10年前 現在
トレンド
目的
ソース
規模
インフラ
ビッグデータデータウェアハウス
Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 8
本日のテーマ
多種多様なアーキテクチャ、プロダクトが存在する
昨今の情報系インフラ市場において、
「列指向型データベース」=「InfiniDB」を題材に、
● どのように企業システムで活用されているのか、
● 導入した結果、どのような効果をもたらしたか、
についてご紹介します。
列指向型データベースご検討/ご活用の一助となれ
ば幸いです。
Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 9
ケーススタディ1
Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 10
取扱データが増えると
売上・利益は増える?
Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 11
ビッグデータ基盤をパブリック・クラウドで構築
● 数十ペタバイト(PB)規模
● 数TB単位/日の規模で増加
● Webログ、デバイスログ 等々
Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 12
パブリック・クラウド利用のメリット・デメリット
メリット
必要な時に必要なリソースがすぐに調達できる
運用をおまかせできる
定期的に最新化される物理インフラ
低コストで環境を利用できる
デメリット
リソース共有による性能安定性(HW・NW等)
サービス個別での安定性
(使い方を誤ると)安くない
 データ連携、高スペックリソース恒常利用
美味しいところをつまんで使う
Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 13
具体例① NOKIAのケース
SQLによる
アドホック分析
パブリッククラウド
活用することで
伸縮性を確保
@Nokia
Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 14
ユーザ分析環境は「都度調達」
● データ分析が必要になったら・・・
 1. データ量などを考慮して、必要なスペックを決める
 (足りなかったら、あとから足せる)
 2. Amazon AWS上で仮想マシンを調達
 3. InfiniDBをセットアップし、データを投入して分析する
 4. 分析が終わったら、環境を削除して終了(リリースする)
ライセンス保有
(40コア分)
必要に応じてマシンを調達
クラウドの柔軟さを活用
分析必要!
Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 15
  利用期間次第!?
【参考】 インフラ費用の比較
利用するサービス インスタンスファミリー、タイプ vCPU DISK
オンデマンドインスタンス 4 32.4 2*420GB $1.08 ¥2,835,612 ¥4,726,020
--- --- $0.03 ¥65,700 ¥109,500
¥2,901,312 ¥4,835,520
マシンモデル 科目 CPU DISK
HP Proliant DL360p サーバー本体、保守 4 32GB 300GB*6 ¥1,210,780.00 ¥1,257,580.00
※キッティング(組み立て)費用を含む ¥1,257,580 ¥1,356,580
パブリッククラウド(Amazon W eb Service)
メモリ
(GB)
単価
(時間)
3年
(円換算)
5年
(円換算)
ハイメモリオンデマンドインスタンス
ダブルエクストララージ(m2.2xlarge)
EBS最適化インスタンス
ハイメモリオンデマンドインスタンス
ダブルエクストララージ(m2.2xlarge)
オンプレミス(HP Proliant DL360p)
メモリ
(GB)
単価
(1年)
3年 5年
¥1,356,580
パブリッククラウド:オンプレミス= 480万:135万
Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 16
(参考)Hadoop or 分析用DB
定型
バッチ
対話型
分析
得られる結果は同じ、違いは利用シーン
PLAN
CHECK
早い(すぐに試せる)
速い(すぐに結果が得られる)
DO
Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 17
ケーススタディ2
Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 18
専任DBAがいない
Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 19
システム担当(DBA)が不要なDB?!
● 基幹業務は全て外部委託
● 情報システム部は数名
● 情報系システムDBを刷新
● 数名でも運用可能なDBって?!
DBA不在でプロジェクト回せる?
● 構築フェーズ
定期的なシステム更改 運用フェーズ
構築フェーズ設計フェーズ
・DWH特有の設計思想が必要
・将来的なユーザー要件の変化意識して設計
・ETLやBI/各フロントAPLとの連携実装
・性能チューニング、マート、サマリ表作成
・たび重なるユーザー要件の変化への対応
・レポート追加の度に、DBチューニングを実施
・かならずやって来るシステム更改への対応
・新環境への移行コストは、新規導入の数倍?!
Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 20
情報系システム
。。。な情報系システムの現場
運用
企画
開発
積み重なる追加・修正
終わらないチューニング
企画と運用の板挟みユーザ
変更リスクが大きく、
施策や変更が受入できない
膨らみ続ける維持コスト
ユーザから追加・改善要求
PDCAサイクルが回せない
投資対効果を実証しづらい
Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 21
NO チューニング項目 概要 難易度
(コスト・スキル)
備考
1 索引追加 個別最適/アクセスパスの最適化 高・中
運用コスト大
(再作成)
2 SQLヒント文調整 個別最適/アクセスパスの最適化 高・高
チューニングコスト大
SQL修正
3 処理パラレル化 個別最適/リソース最大活用 高・低
オプションコスト大
SQL修正
4 パラメータ調整 全体最適/リソース最大活用 低・低 設計&初期リリース
5 統計情報 全体最適/アクセスパスの最適化 高・低
運用コスト大
(定期収集)
6 物理配置 全体最適/ディスクIO分散 中・中 設計
7
データ分割
(パーティショニング)
全体最適/ディスクIO分散 高・中
オプションコスト大
設計
8 データ圧縮 全体最適/ディスクIO削減 高・低
オプションコスト大
設計
9 サーバ増強 全体最適/リソース追加 高・低 ライセンスコスト大
DBAによるDBチューニング作業
InfiniDBは開発/運用の妨げとなる
「DBチューニング作業」を自動化
InfiniDBは開発/運用の妨げとなる
「DBチューニング作業」を自動化
並列処理
索引管理パーティション化
列単位の圧縮
Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 22
BIシステムのスモール&スピード開発
・ 数億件におよぶ大量データの取扱い
- バッチ処理が終わらない/パフォーマンスがでない
・ 既存システム増強には数千万円の投資が必要
・ 工数(時間、リソース)が確保できない
・ DBチューニングに詳しいエンジニア不在
・ 数億件におよぶ大量データの取扱い
- バッチ処理が終わらない/パフォーマンスがでない
・ 既存システム増強には数千万円の投資が必要
・ 工数(時間、リソース)が確保できない
・ DBチューニングに詳しいエンジニア不在
・ PCサーバ1台でのスモールスタート
・ 使い慣れたBI(WebFOCUS)の有効活用
 - DBチューニング不要、レポート作成に集中
・ メンテナンスが簡単
 - DM(サマリ表)作成不要
 - 索引・統計といったDBバックエンドメンテ不要
・ PCサーバ1台でのスモールスタート
・ 使い慣れたBI(WebFOCUS)の有効活用
 - DBチューニング不要、レポート作成に集中
・ メンテナンスが簡単
 - DM(サマリ表)作成不要
 - 索引・統計といったDBバックエンドメンテ不要
POSデータの営業企画・支援への活用POSデータの営業企画・支援への活用
10億レコード のPOSデータ集計が 数秒~数十秒 で完了!
POS
データ レポーティング
  医薬品製造・販売会社様の場合
ETLETL
データの
変換/加工
限られた人員
(DBA不在)
少ない投資予算
「スピード感」のある
PDCAサイクル
BIBI
データの
抽出
Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 23
ケーススタディ3
Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 24
DWH専用xxxって高い!?
Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 25
情報系システムで利用されるDBと投資予算
200 万円未満
500 万円未満
1000 万円未満
3000 万円未満
5000 万円未満
5000 万円以上
0
2
4
6
8
10
12
14
Teradata
Netezza
Greenplum
MySQL ( MariaDB )
PostgreSQL
DB2
SQLServer
OracleDatabase
2012.11.21 弊社InfiniDBセミナー 事前アンケートより
パフォーマンス
重視導入コスト
重視
コストとパフォーマンスはトレードオフの関係に
Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 26
昨今の技術進化
コストは同じ
CPUコア「8倍」、メモリ「10倍」
スループットは「50倍」
http://www.spec.org/
性能データの出展:The Standard Performance Evaluation Corporation
(SPEC)
某社ミッドレンジモデルの性能向上
(2002年~2012年)
注文ID 商品ID 単価 個数 顧客ID 注文日
15332 212 3000 30 433 2013/04/03
15333 427 1500 15 156 2013/04/05
15334 58 800 20 333 2013/04/05
15335 145 1800 20 261 2013/04/08
15332
15333
15334
15335
212
427
58
145
30
15
20
20
3000
1500
800
1800
433
156
333
261
2013/04/03
2013/04/05
2013/04/05
2013/04/08
列ごとに物理的に分離したブロック
※赤字:取り出すデータ領域
列指向アーキテクチャ
SQL> SELECT 商品ID, SUM(単価 × 個数) ...
「進化したPCサーバー」と「列指向アーキテクチャが」
情報系システムの選択肢に変化をもたらす
IOネックを最小化
Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 27
(参考)アプライアンスとの比較
● 某社PoC(導入事前検証)の結果抜粋
Query
既存環境 InfiniDB
検索期間 件数
実行時間
Mem 同時実行 Mem 同時実行 Mem 同時実行
1st 2nd Ave 単体 5 単体 5 単体 5
test00
20110101-20110105 4,417 28 23 25.5 1.44 5.64 1.85 6.68 1.58 4.65
20110101-20110110 71,664 34 23 28.5 1.81 5.43 2.53 6.74 2.21 5.16
20110101-20110132 530,285 39 24 31.5 6.39 10.43 7.53 12.51 5.86 12.53
構成#1 構成#2 構成#3
既存環境(DWHアプライアンス)と比較して、5倍~20倍の性能向上
※費用差額も踏まえ、アプライアンスの最新機種は除外
W/最新PCサーバ
Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 28
性能優位≠置換え可
● 性能面はあくまで一つの評価指標
● 異種DB置換えには必ず移行コストが発生
本体価格
(ソフト、ハード)
保守費用
ハードウェア
ソフトウェア
保守費用
移行費用
移行費用
DWHアプライアンス
最新機種への更改
コスト差額
置換えるだけの
価格メリットもしくは
同等の価値があるか
Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 29
● 5年単位のリプレース計画は、主にハードウェアの老朽化対策として行われる
● ソフトウェア製品は、システム更改時のライセンス再購入不要
InfiniDBとアプライアンス製品のランニングコストの比較
アプライアンス型
製品の場合
ソフトウェア型
の場合
5~6年目
4年目
3年目
2年目
初年度 H/W 移行
保
守
保
守
5年間の投資総額
H/W
保
守
保
守
保
守
保
守
保
守
保
守
保
守
保
守
5~6年目
4年目
3年目
2年目
初年度 H/W+S/W 保守
5年間の投資総額
保守
保守
保守
保守
H/W+S/W
コ
ス
ト
の
差
額
費用の差額 : システム更改の度に買い直しが発生し、累積では多額の費用負担となる。
システム更新時に
毎回システム全体
の購入が必要!
S/W
(参考)ランニングコストの比較
Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 30
ケーススタディ4
Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 31
RDBMSはやっぱり偉大
RDBMSの自由度、
万能さは捨てがたい。。。
Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 32
トータルバランスを考えて
それぞれの能力を最大限引き出す
RDBMS 列指向型DB
現在 対象 過去
更新処理
1行データの抽出
得意
大量データ処理
分析・集計
大量データの抽出
(分析・集計)
不得意
更新処理
1行データの抽出
一つのアーキテクチャに固執しない
RDBMS RDBMS
列指向型
DB
Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 33
レスポンス課題を列指向DBで解消する
独自構築した日本最大規模のデータベース
(消費者9,500万件・企業情報750万件)を用いて
データベースマーケティング支援とCRM戦略立案を提供
課題
株式会社ランドスケイプがこれまで内製で作り
上げたマーケティング・システムは、長年に渡る
チューニング作業の結果、システム全体では
非常に高い検索性能を 実現できていた。
が、一部の大量データに対する検索処理は、
検索に1分以上を要するなど、長年のシステム
課題となっていた。
ランドスケイプ社
上位エディション
+ オプション機能
全文検索エンジン
への置き換え
既存DB環境を
ブラッシュアップ
Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 34
組合せてコストパフォーマンスを最適化
営業担当:150名
独自に
同期処理を実装
検索処理&更新
(メンテナンス)
法人データ :750万件
過去履歴累計 :4000万件
マーケティングDB(法人DB)の性能改善マーケティングDB(法人DB)の性能改善
重い検索処理
(LIKE検索)
Oracle SEと併用することで、移行コストも最小にOracle SEと併用することで、移行コストも最小に
1分以上かかっていた検索が2秒に、
2週間かかっていた商談が3日に
ランドスケイプ社の場合
Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 35
汎用DBMSを使い倒す!!
業務系AP
販売管理システム性能の安定販売管理システム性能の安定
業務担当者
企画・管理者
売上速報みたい
在庫状況みたい
販売傾向知りたい
過去実績比較
某スポーツ用品メーカーの場合
業務系DB
基幹業務である販売管理システムを刷新、情報活用・見える化を推進
情報系AP月末締めになると
負荷増で
パフォーマンスダウン
上位エディション
+ オプション機能
既存DB環境を
ブラッシュアップ
設計上の問題?
チューニング?
Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 36
業務系DBと組合せてリアルタイム&負荷軽減
業務系AP
販売管理システム性能の安定販売管理システム性能の安定
業務担当者
企画・管理者
売上速報みたい
在庫状況みたい
販売傾向知りたい
過去実績比較
某スポーツ用品メーカーの場合
業務系DB
基幹業務である販売管理システムを刷新、情報活用・見える化を推進
情報系AP
ETL経由 リアルタイム
データの照会
(当月の範囲)
過去データ照会
(当月以前)
業務用DBの負荷軽減
情報系システムのレスポンス向上
業務用DBの負荷軽減
情報系システムのレスポンス向上
Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 37
まとめ
●廉価なPCサーバにおいても、必要十分な性能
が期待できます
●BIのバックエンドに置く小規模なデータベース
から、大規模なDWH環境まで幅広く活用いた
だいています
●動作環境は、パブリック・クラウドから自社内の
仮想環境まで、
幅広く対応しています。
Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 38
百聞は一見に如かず
お手持ちの実データで、「速さ」と「手軽さ」を是非体験ください
http://infinidb-tech.ashisuto.co.jp/
  検 索
Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 39
:本資料に記載されている社名、製品名は各社の商標または登録商標です。
:本資料の全体または一部に記載されている内容については、予告なく変更
する場合があります。

More Related Content

[D24] あなたのビジネスを変えるInfiniDBケーススタディ by Toshihide Hanatani

  • 1. Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 1 あなたのビジネスを変える InfiniDB ケーススタディ 株式会社アシスト データベース技術本部 花谷 俊英
  • 2. Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 2 はソフトウェア活用をアシストする会社です
  • 3. Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 3 つなぐ 貯める 活かす データ連携が標準化され、データ 加工/ロードが自動化、高速化 されたバックエンド 信頼性と高速性を同時に 実現できるデータベース 誰でも必要な時に必要な情報を活用 でき、柔軟性に富んだフロントエンド 自由分析 ダッシュボード 自由分析 ダッシュボード 定型レポート定型レポート 半定型レポート半定型レポート DWH データ整備 予算データ 販売システム 経理システム ETLETL データの 変換/加工 原価管理システム DM(データマート) BI
  • 4. Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 4 InfiniDBの特長
  • 5. Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 5 DWHにおけるユーザの期待 細かく幅広いデータ分析 - 精度/粒度/鮮度 - 保持期間 PDCAサイクルの活性化 - 要件変更の柔軟性、容易性 - デリバリスピード 利用ユーザ部門 企画・開発部門 快適なパフォーマンス - ストレスを感じないレスポンス - 情報提供までのスピード向上 高い投資対効果 - 初期投資の抑制、資産の流用 - 段階的な拡張性とシナリオ シンプルなシステム基盤 - 維持運用コストの抑制 - 既存資産に対する影響小 経営・購買部門 情報システム・運用部門
  • 6. Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 6 「DWH特化型DB」という製品分野 汎用RDBMS DWH専用 アプライアンス DWH専用ソフトウェア パフォーマンス × 担当者スキルに依存した性能 ◎ 専用機材で性能が担保される ○ 機能特化することで高性能を実現 拡張性 × スケールアウトは困難 ○ ただし、実際の拡張は高コスト ○ スケールアップ/アウトに対応 保守、運用性 △ 確立されているケースが多い △ ベンダー依存度が高い ○ システム任せの 要員、操作性 ○ 使い慣れたインタフェース △ 専用のスキルや知識が必要 ○ 汎用RDBMSと同等 コスト △ 安価なエディションあるが・・・ × 低コストは望めない ○ 専用機材が不要 「DWHは、構築と運用にコストと時間がかかりすぎる」 「汎用RDBMSでは、もはや期待する検索パフォーマンスが出ない」 「DWHアプライアンスは、どれも高額で手が出せない」
  • 7. Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 7 昨今の情報系インフラの選択肢 データウェアハウス 見るべき情報を 的確に見る、見せる ビッグデータ 未知なる知見を データからあぶり出す 構造化データ中心 数百GB~数十TB 構造化データに留まらず 非構造化データも TBから PBにまたがることも 一般的なRDBMS DWH専用機材 多種多様な選択肢が増加 (クラウド、Hadoop、NoSQL..) 10年前 現在 トレンド 目的 ソース 規模 インフラ ビッグデータデータウェアハウス
  • 8. Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 8 本日のテーマ 多種多様なアーキテクチャ、プロダクトが存在する 昨今の情報系インフラ市場において、 「列指向型データベース」=「InfiniDB」を題材に、 ● どのように企業システムで活用されているのか、 ● 導入した結果、どのような効果をもたらしたか、 についてご紹介します。 列指向型データベースご検討/ご活用の一助となれ ば幸いです。
  • 9. Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 9 ケーススタディ1
  • 10. Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 10 取扱データが増えると 売上・利益は増える?
  • 11. Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 11 ビッグデータ基盤をパブリック・クラウドで構築 ● 数十ペタバイト(PB)規模 ● 数TB単位/日の規模で増加 ● Webログ、デバイスログ 等々
  • 12. Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 12 パブリック・クラウド利用のメリット・デメリット メリット 必要な時に必要なリソースがすぐに調達できる 運用をおまかせできる 定期的に最新化される物理インフラ 低コストで環境を利用できる デメリット リソース共有による性能安定性(HW・NW等) サービス個別での安定性 (使い方を誤ると)安くない  データ連携、高スペックリソース恒常利用 美味しいところをつまんで使う
  • 13. Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 13 具体例① NOKIAのケース SQLによる アドホック分析 パブリッククラウド 活用することで 伸縮性を確保 @Nokia
  • 14. Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 14 ユーザ分析環境は「都度調達」 ● データ分析が必要になったら・・・  1. データ量などを考慮して、必要なスペックを決める  (足りなかったら、あとから足せる)  2. Amazon AWS上で仮想マシンを調達  3. InfiniDBをセットアップし、データを投入して分析する  4. 分析が終わったら、環境を削除して終了(リリースする) ライセンス保有 (40コア分) 必要に応じてマシンを調達 クラウドの柔軟さを活用 分析必要!
  • 15. Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 15   利用期間次第!? 【参考】 インフラ費用の比較 利用するサービス インスタンスファミリー、タイプ vCPU DISK オンデマンドインスタンス 4 32.4 2*420GB $1.08 ¥2,835,612 ¥4,726,020 --- --- $0.03 ¥65,700 ¥109,500 ¥2,901,312 ¥4,835,520 マシンモデル 科目 CPU DISK HP Proliant DL360p サーバー本体、保守 4 32GB 300GB*6 ¥1,210,780.00 ¥1,257,580.00 ※キッティング(組み立て)費用を含む ¥1,257,580 ¥1,356,580 パブリッククラウド(Amazon W eb Service) メモリ (GB) 単価 (時間) 3年 (円換算) 5年 (円換算) ハイメモリオンデマンドインスタンス ダブルエクストララージ(m2.2xlarge) EBS最適化インスタンス ハイメモリオンデマンドインスタンス ダブルエクストララージ(m2.2xlarge) オンプレミス(HP Proliant DL360p) メモリ (GB) 単価 (1年) 3年 5年 ¥1,356,580 パブリッククラウド:オンプレミス= 480万:135万
  • 16. Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 16 (参考)Hadoop or 分析用DB 定型 バッチ 対話型 分析 得られる結果は同じ、違いは利用シーン PLAN CHECK 早い(すぐに試せる) 速い(すぐに結果が得られる) DO
  • 17. Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 17 ケーススタディ2
  • 18. Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 18 専任DBAがいない
  • 19. Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 19 システム担当(DBA)が不要なDB?! ● 基幹業務は全て外部委託 ● 情報システム部は数名 ● 情報系システムDBを刷新 ● 数名でも運用可能なDBって?! DBA不在でプロジェクト回せる? ● 構築フェーズ 定期的なシステム更改 運用フェーズ 構築フェーズ設計フェーズ ・DWH特有の設計思想が必要 ・将来的なユーザー要件の変化意識して設計 ・ETLやBI/各フロントAPLとの連携実装 ・性能チューニング、マート、サマリ表作成 ・たび重なるユーザー要件の変化への対応 ・レポート追加の度に、DBチューニングを実施 ・かならずやって来るシステム更改への対応 ・新環境への移行コストは、新規導入の数倍?!
  • 20. Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 20 情報系システム 。。。な情報系システムの現場 運用 企画 開発 積み重なる追加・修正 終わらないチューニング 企画と運用の板挟みユーザ 変更リスクが大きく、 施策や変更が受入できない 膨らみ続ける維持コスト ユーザから追加・改善要求 PDCAサイクルが回せない 投資対効果を実証しづらい
  • 21. Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 21 NO チューニング項目 概要 難易度 (コスト・スキル) 備考 1 索引追加 個別最適/アクセスパスの最適化 高・中 運用コスト大 (再作成) 2 SQLヒント文調整 個別最適/アクセスパスの最適化 高・高 チューニングコスト大 SQL修正 3 処理パラレル化 個別最適/リソース最大活用 高・低 オプションコスト大 SQL修正 4 パラメータ調整 全体最適/リソース最大活用 低・低 設計&初期リリース 5 統計情報 全体最適/アクセスパスの最適化 高・低 運用コスト大 (定期収集) 6 物理配置 全体最適/ディスクIO分散 中・中 設計 7 データ分割 (パーティショニング) 全体最適/ディスクIO分散 高・中 オプションコスト大 設計 8 データ圧縮 全体最適/ディスクIO削減 高・低 オプションコスト大 設計 9 サーバ増強 全体最適/リソース追加 高・低 ライセンスコスト大 DBAによるDBチューニング作業 InfiniDBは開発/運用の妨げとなる 「DBチューニング作業」を自動化 InfiniDBは開発/運用の妨げとなる 「DBチューニング作業」を自動化 並列処理 索引管理パーティション化 列単位の圧縮
  • 22. Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 22 BIシステムのスモール&スピード開発 ・ 数億件におよぶ大量データの取扱い - バッチ処理が終わらない/パフォーマンスがでない ・ 既存システム増強には数千万円の投資が必要 ・ 工数(時間、リソース)が確保できない ・ DBチューニングに詳しいエンジニア不在 ・ 数億件におよぶ大量データの取扱い - バッチ処理が終わらない/パフォーマンスがでない ・ 既存システム増強には数千万円の投資が必要 ・ 工数(時間、リソース)が確保できない ・ DBチューニングに詳しいエンジニア不在 ・ PCサーバ1台でのスモールスタート ・ 使い慣れたBI(WebFOCUS)の有効活用  - DBチューニング不要、レポート作成に集中 ・ メンテナンスが簡単  - DM(サマリ表)作成不要  - 索引・統計といったDBバックエンドメンテ不要 ・ PCサーバ1台でのスモールスタート ・ 使い慣れたBI(WebFOCUS)の有効活用  - DBチューニング不要、レポート作成に集中 ・ メンテナンスが簡単  - DM(サマリ表)作成不要  - 索引・統計といったDBバックエンドメンテ不要 POSデータの営業企画・支援への活用POSデータの営業企画・支援への活用 10億レコード のPOSデータ集計が 数秒~数十秒 で完了! POS データ レポーティング   医薬品製造・販売会社様の場合 ETLETL データの 変換/加工 限られた人員 (DBA不在) 少ない投資予算 「スピード感」のある PDCAサイクル BIBI データの 抽出
  • 23. Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 23 ケーススタディ3
  • 24. Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 24 DWH専用xxxって高い!?
  • 25. Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 25 情報系システムで利用されるDBと投資予算 200 万円未満 500 万円未満 1000 万円未満 3000 万円未満 5000 万円未満 5000 万円以上 0 2 4 6 8 10 12 14 Teradata Netezza Greenplum MySQL ( MariaDB ) PostgreSQL DB2 SQLServer OracleDatabase 2012.11.21 弊社InfiniDBセミナー 事前アンケートより パフォーマンス 重視導入コスト 重視 コストとパフォーマンスはトレードオフの関係に
  • 26. Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 26 昨今の技術進化 コストは同じ CPUコア「8倍」、メモリ「10倍」 スループットは「50倍」 http://www.spec.org/ 性能データの出展:The Standard Performance Evaluation Corporation (SPEC) 某社ミッドレンジモデルの性能向上 (2002年~2012年) 注文ID 商品ID 単価 個数 顧客ID 注文日 15332 212 3000 30 433 2013/04/03 15333 427 1500 15 156 2013/04/05 15334 58 800 20 333 2013/04/05 15335 145 1800 20 261 2013/04/08 15332 15333 15334 15335 212 427 58 145 30 15 20 20 3000 1500 800 1800 433 156 333 261 2013/04/03 2013/04/05 2013/04/05 2013/04/08 列ごとに物理的に分離したブロック ※赤字:取り出すデータ領域 列指向アーキテクチャ SQL> SELECT 商品ID, SUM(単価 × 個数) ... 「進化したPCサーバー」と「列指向アーキテクチャが」 情報系システムの選択肢に変化をもたらす IOネックを最小化
  • 27. Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 27 (参考)アプライアンスとの比較 ● 某社PoC(導入事前検証)の結果抜粋 Query 既存環境 InfiniDB 検索期間 件数 実行時間 Mem 同時実行 Mem 同時実行 Mem 同時実行 1st 2nd Ave 単体 5 単体 5 単体 5 test00 20110101-20110105 4,417 28 23 25.5 1.44 5.64 1.85 6.68 1.58 4.65 20110101-20110110 71,664 34 23 28.5 1.81 5.43 2.53 6.74 2.21 5.16 20110101-20110132 530,285 39 24 31.5 6.39 10.43 7.53 12.51 5.86 12.53 構成#1 構成#2 構成#3 既存環境(DWHアプライアンス)と比較して、5倍~20倍の性能向上 ※費用差額も踏まえ、アプライアンスの最新機種は除外 W/最新PCサーバ
  • 28. Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 28 性能優位≠置換え可 ● 性能面はあくまで一つの評価指標 ● 異種DB置換えには必ず移行コストが発生 本体価格 (ソフト、ハード) 保守費用 ハードウェア ソフトウェア 保守費用 移行費用 移行費用 DWHアプライアンス 最新機種への更改 コスト差額 置換えるだけの 価格メリットもしくは 同等の価値があるか
  • 29. Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 29 ● 5年単位のリプレース計画は、主にハードウェアの老朽化対策として行われる ● ソフトウェア製品は、システム更改時のライセンス再購入不要 InfiniDBとアプライアンス製品のランニングコストの比較 アプライアンス型 製品の場合 ソフトウェア型 の場合 5~6年目 4年目 3年目 2年目 初年度 H/W 移行 保 守 保 守 5年間の投資総額 H/W 保 守 保 守 保 守 保 守 保 守 保 守 保 守 保 守 5~6年目 4年目 3年目 2年目 初年度 H/W+S/W 保守 5年間の投資総額 保守 保守 保守 保守 H/W+S/W コ ス ト の 差 額 費用の差額 : システム更改の度に買い直しが発生し、累積では多額の費用負担となる。 システム更新時に 毎回システム全体 の購入が必要! S/W (参考)ランニングコストの比較
  • 30. Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 30 ケーススタディ4
  • 31. Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 31 RDBMSはやっぱり偉大 RDBMSの自由度、 万能さは捨てがたい。。。
  • 32. Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 32 トータルバランスを考えて それぞれの能力を最大限引き出す RDBMS 列指向型DB 現在 対象 過去 更新処理 1行データの抽出 得意 大量データ処理 分析・集計 大量データの抽出 (分析・集計) 不得意 更新処理 1行データの抽出 一つのアーキテクチャに固執しない RDBMS RDBMS 列指向型 DB
  • 33. Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 33 レスポンス課題を列指向DBで解消する 独自構築した日本最大規模のデータベース (消費者9,500万件・企業情報750万件)を用いて データベースマーケティング支援とCRM戦略立案を提供 課題 株式会社ランドスケイプがこれまで内製で作り 上げたマーケティング・システムは、長年に渡る チューニング作業の結果、システム全体では 非常に高い検索性能を 実現できていた。 が、一部の大量データに対する検索処理は、 検索に1分以上を要するなど、長年のシステム 課題となっていた。 ランドスケイプ社 上位エディション + オプション機能 全文検索エンジン への置き換え 既存DB環境を ブラッシュアップ
  • 34. Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 34 組合せてコストパフォーマンスを最適化 営業担当:150名 独自に 同期処理を実装 検索処理&更新 (メンテナンス) 法人データ :750万件 過去履歴累計 :4000万件 マーケティングDB(法人DB)の性能改善マーケティングDB(法人DB)の性能改善 重い検索処理 (LIKE検索) Oracle SEと併用することで、移行コストも最小にOracle SEと併用することで、移行コストも最小に 1分以上かかっていた検索が2秒に、 2週間かかっていた商談が3日に ランドスケイプ社の場合
  • 35. Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 35 汎用DBMSを使い倒す!! 業務系AP 販売管理システム性能の安定販売管理システム性能の安定 業務担当者 企画・管理者 売上速報みたい 在庫状況みたい 販売傾向知りたい 過去実績比較 某スポーツ用品メーカーの場合 業務系DB 基幹業務である販売管理システムを刷新、情報活用・見える化を推進 情報系AP月末締めになると 負荷増で パフォーマンスダウン 上位エディション + オプション機能 既存DB環境を ブラッシュアップ 設計上の問題? チューニング?
  • 36. Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 36 業務系DBと組合せてリアルタイム&負荷軽減 業務系AP 販売管理システム性能の安定販売管理システム性能の安定 業務担当者 企画・管理者 売上速報みたい 在庫状況みたい 販売傾向知りたい 過去実績比較 某スポーツ用品メーカーの場合 業務系DB 基幹業務である販売管理システムを刷新、情報活用・見える化を推進 情報系AP ETL経由 リアルタイム データの照会 (当月の範囲) 過去データ照会 (当月以前) 業務用DBの負荷軽減 情報系システムのレスポンス向上 業務用DBの負荷軽減 情報系システムのレスポンス向上
  • 37. Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 37 まとめ ●廉価なPCサーバにおいても、必要十分な性能 が期待できます ●BIのバックエンドに置く小規模なデータベース から、大規模なDWH環境まで幅広く活用いた だいています ●動作環境は、パブリック・クラウドから自社内の 仮想環境まで、 幅広く対応しています。
  • 38. Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 38 百聞は一見に如かず お手持ちの実データで、「速さ」と「手軽さ」を是非体験ください http://infinidb-tech.ashisuto.co.jp/   検 索
  • 39. Copyright © 2012-2014 K.K.Ashisuto All Rights Reserved. 39 :本資料に記載されている社名、製品名は各社の商標または登録商標です。 :本資料の全体または一部に記載されている内容については、予告なく変更 する場合があります。