Location via proxy:
[ UP ]
[Report a bug]
[Manage cookies]
No cookies
No scripts
No ads
No referrer
Show this form
Submit Search
[D24] あなたのビジネスを変えるInfiniDBケーススタディ by Toshihide Hanatani
•
2 likes
•
1,415 views
Insight Technology, Inc.
Follow
Gallery
Report
Share
Gallery
Report
Share
1 of 39
Download now
Download to read offline
More Related Content
[D24] あなたのビジネスを変えるInfiniDBケーススタディ by Toshihide Hanatani
1.
Copyright © 2012-2014
K.K.Ashisuto All Rights Reserved. 1 あなたのビジネスを変える InfiniDB ケーススタディ 株式会社アシスト データベース技術本部 花谷 俊英
2.
Copyright © 2012-2014
K.K.Ashisuto All Rights Reserved. 2 はソフトウェア活用をアシストする会社です
3.
Copyright © 2012-2014
K.K.Ashisuto All Rights Reserved. 3 つなぐ 貯める 活かす データ連携が標準化され、データ 加工/ロードが自動化、高速化 されたバックエンド 信頼性と高速性を同時に 実現できるデータベース 誰でも必要な時に必要な情報を活用 でき、柔軟性に富んだフロントエンド 自由分析 ダッシュボード 自由分析 ダッシュボード 定型レポート定型レポート 半定型レポート半定型レポート DWH データ整備 予算データ 販売システム 経理システム ETLETL データの 変換/加工 原価管理システム DM(データマート) BI
4.
Copyright © 2012-2014
K.K.Ashisuto All Rights Reserved. 4 InfiniDBの特長
5.
Copyright © 2012-2014
K.K.Ashisuto All Rights Reserved. 5 DWHにおけるユーザの期待 細かく幅広いデータ分析 - 精度/粒度/鮮度 - 保持期間 PDCAサイクルの活性化 - 要件変更の柔軟性、容易性 - デリバリスピード 利用ユーザ部門 企画・開発部門 快適なパフォーマンス - ストレスを感じないレスポンス - 情報提供までのスピード向上 高い投資対効果 - 初期投資の抑制、資産の流用 - 段階的な拡張性とシナリオ シンプルなシステム基盤 - 維持運用コストの抑制 - 既存資産に対する影響小 経営・購買部門 情報システム・運用部門
6.
Copyright © 2012-2014
K.K.Ashisuto All Rights Reserved. 6 「DWH特化型DB」という製品分野 汎用RDBMS DWH専用 アプライアンス DWH専用ソフトウェア パフォーマンス × 担当者スキルに依存した性能 ◎ 専用機材で性能が担保される ○ 機能特化することで高性能を実現 拡張性 × スケールアウトは困難 ○ ただし、実際の拡張は高コスト ○ スケールアップ/アウトに対応 保守、運用性 △ 確立されているケースが多い △ ベンダー依存度が高い ○ システム任せの 要員、操作性 ○ 使い慣れたインタフェース △ 専用のスキルや知識が必要 ○ 汎用RDBMSと同等 コスト △ 安価なエディションあるが・・・ × 低コストは望めない ○ 専用機材が不要 「DWHは、構築と運用にコストと時間がかかりすぎる」 「汎用RDBMSでは、もはや期待する検索パフォーマンスが出ない」 「DWHアプライアンスは、どれも高額で手が出せない」
7.
Copyright © 2012-2014
K.K.Ashisuto All Rights Reserved. 7 昨今の情報系インフラの選択肢 データウェアハウス 見るべき情報を 的確に見る、見せる ビッグデータ 未知なる知見を データからあぶり出す 構造化データ中心 数百GB~数十TB 構造化データに留まらず 非構造化データも TBから PBにまたがることも 一般的なRDBMS DWH専用機材 多種多様な選択肢が増加 (クラウド、Hadoop、NoSQL..) 10年前 現在 トレンド 目的 ソース 規模 インフラ ビッグデータデータウェアハウス
8.
Copyright © 2012-2014
K.K.Ashisuto All Rights Reserved. 8 本日のテーマ 多種多様なアーキテクチャ、プロダクトが存在する 昨今の情報系インフラ市場において、 「列指向型データベース」=「InfiniDB」を題材に、 ● どのように企業システムで活用されているのか、 ● 導入した結果、どのような効果をもたらしたか、 についてご紹介します。 列指向型データベースご検討/ご活用の一助となれ ば幸いです。
9.
Copyright © 2012-2014
K.K.Ashisuto All Rights Reserved. 9 ケーススタディ1
10.
Copyright © 2012-2014
K.K.Ashisuto All Rights Reserved. 10 取扱データが増えると 売上・利益は増える?
11.
Copyright © 2012-2014
K.K.Ashisuto All Rights Reserved. 11 ビッグデータ基盤をパブリック・クラウドで構築 ● 数十ペタバイト(PB)規模 ● 数TB単位/日の規模で増加 ● Webログ、デバイスログ 等々
12.
Copyright © 2012-2014
K.K.Ashisuto All Rights Reserved. 12 パブリック・クラウド利用のメリット・デメリット メリット 必要な時に必要なリソースがすぐに調達できる 運用をおまかせできる 定期的に最新化される物理インフラ 低コストで環境を利用できる デメリット リソース共有による性能安定性(HW・NW等) サービス個別での安定性 (使い方を誤ると)安くない データ連携、高スペックリソース恒常利用 美味しいところをつまんで使う
13.
Copyright © 2012-2014
K.K.Ashisuto All Rights Reserved. 13 具体例① NOKIAのケース SQLによる アドホック分析 パブリッククラウド 活用することで 伸縮性を確保 @Nokia
14.
Copyright © 2012-2014
K.K.Ashisuto All Rights Reserved. 14 ユーザ分析環境は「都度調達」 ● データ分析が必要になったら・・・ 1. データ量などを考慮して、必要なスペックを決める (足りなかったら、あとから足せる) 2. Amazon AWS上で仮想マシンを調達 3. InfiniDBをセットアップし、データを投入して分析する 4. 分析が終わったら、環境を削除して終了(リリースする) ライセンス保有 (40コア分) 必要に応じてマシンを調達 クラウドの柔軟さを活用 分析必要!
15.
Copyright © 2012-2014
K.K.Ashisuto All Rights Reserved. 15 利用期間次第!? 【参考】 インフラ費用の比較 利用するサービス インスタンスファミリー、タイプ vCPU DISK オンデマンドインスタンス 4 32.4 2*420GB $1.08 ¥2,835,612 ¥4,726,020 --- --- $0.03 ¥65,700 ¥109,500 ¥2,901,312 ¥4,835,520 マシンモデル 科目 CPU DISK HP Proliant DL360p サーバー本体、保守 4 32GB 300GB*6 ¥1,210,780.00 ¥1,257,580.00 ※キッティング(組み立て)費用を含む ¥1,257,580 ¥1,356,580 パブリッククラウド(Amazon W eb Service) メモリ (GB) 単価 (時間) 3年 (円換算) 5年 (円換算) ハイメモリオンデマンドインスタンス ダブルエクストララージ(m2.2xlarge) EBS最適化インスタンス ハイメモリオンデマンドインスタンス ダブルエクストララージ(m2.2xlarge) オンプレミス(HP Proliant DL360p) メモリ (GB) 単価 (1年) 3年 5年 ¥1,356,580 パブリッククラウド:オンプレミス= 480万:135万
16.
Copyright © 2012-2014
K.K.Ashisuto All Rights Reserved. 16 (参考)Hadoop or 分析用DB 定型 バッチ 対話型 分析 得られる結果は同じ、違いは利用シーン PLAN CHECK 早い(すぐに試せる) 速い(すぐに結果が得られる) DO
17.
Copyright © 2012-2014
K.K.Ashisuto All Rights Reserved. 17 ケーススタディ2
18.
Copyright © 2012-2014
K.K.Ashisuto All Rights Reserved. 18 専任DBAがいない
19.
Copyright © 2012-2014
K.K.Ashisuto All Rights Reserved. 19 システム担当(DBA)が不要なDB?! ● 基幹業務は全て外部委託 ● 情報システム部は数名 ● 情報系システムDBを刷新 ● 数名でも運用可能なDBって?! DBA不在でプロジェクト回せる? ● 構築フェーズ 定期的なシステム更改 運用フェーズ 構築フェーズ設計フェーズ ・DWH特有の設計思想が必要 ・将来的なユーザー要件の変化意識して設計 ・ETLやBI/各フロントAPLとの連携実装 ・性能チューニング、マート、サマリ表作成 ・たび重なるユーザー要件の変化への対応 ・レポート追加の度に、DBチューニングを実施 ・かならずやって来るシステム更改への対応 ・新環境への移行コストは、新規導入の数倍?!
20.
Copyright © 2012-2014
K.K.Ashisuto All Rights Reserved. 20 情報系システム 。。。な情報系システムの現場 運用 企画 開発 積み重なる追加・修正 終わらないチューニング 企画と運用の板挟みユーザ 変更リスクが大きく、 施策や変更が受入できない 膨らみ続ける維持コスト ユーザから追加・改善要求 PDCAサイクルが回せない 投資対効果を実証しづらい
21.
Copyright © 2012-2014
K.K.Ashisuto All Rights Reserved. 21 NO チューニング項目 概要 難易度 (コスト・スキル) 備考 1 索引追加 個別最適/アクセスパスの最適化 高・中 運用コスト大 (再作成) 2 SQLヒント文調整 個別最適/アクセスパスの最適化 高・高 チューニングコスト大 SQL修正 3 処理パラレル化 個別最適/リソース最大活用 高・低 オプションコスト大 SQL修正 4 パラメータ調整 全体最適/リソース最大活用 低・低 設計&初期リリース 5 統計情報 全体最適/アクセスパスの最適化 高・低 運用コスト大 (定期収集) 6 物理配置 全体最適/ディスクIO分散 中・中 設計 7 データ分割 (パーティショニング) 全体最適/ディスクIO分散 高・中 オプションコスト大 設計 8 データ圧縮 全体最適/ディスクIO削減 高・低 オプションコスト大 設計 9 サーバ増強 全体最適/リソース追加 高・低 ライセンスコスト大 DBAによるDBチューニング作業 InfiniDBは開発/運用の妨げとなる 「DBチューニング作業」を自動化 InfiniDBは開発/運用の妨げとなる 「DBチューニング作業」を自動化 並列処理 索引管理パーティション化 列単位の圧縮
22.
Copyright © 2012-2014
K.K.Ashisuto All Rights Reserved. 22 BIシステムのスモール&スピード開発 ・ 数億件におよぶ大量データの取扱い - バッチ処理が終わらない/パフォーマンスがでない ・ 既存システム増強には数千万円の投資が必要 ・ 工数(時間、リソース)が確保できない ・ DBチューニングに詳しいエンジニア不在 ・ 数億件におよぶ大量データの取扱い - バッチ処理が終わらない/パフォーマンスがでない ・ 既存システム増強には数千万円の投資が必要 ・ 工数(時間、リソース)が確保できない ・ DBチューニングに詳しいエンジニア不在 ・ PCサーバ1台でのスモールスタート ・ 使い慣れたBI(WebFOCUS)の有効活用 - DBチューニング不要、レポート作成に集中 ・ メンテナンスが簡単 - DM(サマリ表)作成不要 - 索引・統計といったDBバックエンドメンテ不要 ・ PCサーバ1台でのスモールスタート ・ 使い慣れたBI(WebFOCUS)の有効活用 - DBチューニング不要、レポート作成に集中 ・ メンテナンスが簡単 - DM(サマリ表)作成不要 - 索引・統計といったDBバックエンドメンテ不要 POSデータの営業企画・支援への活用POSデータの営業企画・支援への活用 10億レコード のPOSデータ集計が 数秒~数十秒 で完了! POS データ レポーティング 医薬品製造・販売会社様の場合 ETLETL データの 変換/加工 限られた人員 (DBA不在) 少ない投資予算 「スピード感」のある PDCAサイクル BIBI データの 抽出
23.
Copyright © 2012-2014
K.K.Ashisuto All Rights Reserved. 23 ケーススタディ3
24.
Copyright © 2012-2014
K.K.Ashisuto All Rights Reserved. 24 DWH専用xxxって高い!?
25.
Copyright © 2012-2014
K.K.Ashisuto All Rights Reserved. 25 情報系システムで利用されるDBと投資予算 200 万円未満 500 万円未満 1000 万円未満 3000 万円未満 5000 万円未満 5000 万円以上 0 2 4 6 8 10 12 14 Teradata Netezza Greenplum MySQL ( MariaDB ) PostgreSQL DB2 SQLServer OracleDatabase 2012.11.21 弊社InfiniDBセミナー 事前アンケートより パフォーマンス 重視導入コスト 重視 コストとパフォーマンスはトレードオフの関係に
26.
Copyright © 2012-2014
K.K.Ashisuto All Rights Reserved. 26 昨今の技術進化 コストは同じ CPUコア「8倍」、メモリ「10倍」 スループットは「50倍」 http://www.spec.org/ 性能データの出展:The Standard Performance Evaluation Corporation (SPEC) 某社ミッドレンジモデルの性能向上 (2002年~2012年) 注文ID 商品ID 単価 個数 顧客ID 注文日 15332 212 3000 30 433 2013/04/03 15333 427 1500 15 156 2013/04/05 15334 58 800 20 333 2013/04/05 15335 145 1800 20 261 2013/04/08 15332 15333 15334 15335 212 427 58 145 30 15 20 20 3000 1500 800 1800 433 156 333 261 2013/04/03 2013/04/05 2013/04/05 2013/04/08 列ごとに物理的に分離したブロック ※赤字:取り出すデータ領域 列指向アーキテクチャ SQL> SELECT 商品ID, SUM(単価 × 個数) ... 「進化したPCサーバー」と「列指向アーキテクチャが」 情報系システムの選択肢に変化をもたらす IOネックを最小化
27.
Copyright © 2012-2014
K.K.Ashisuto All Rights Reserved. 27 (参考)アプライアンスとの比較 ● 某社PoC(導入事前検証)の結果抜粋 Query 既存環境 InfiniDB 検索期間 件数 実行時間 Mem 同時実行 Mem 同時実行 Mem 同時実行 1st 2nd Ave 単体 5 単体 5 単体 5 test00 20110101-20110105 4,417 28 23 25.5 1.44 5.64 1.85 6.68 1.58 4.65 20110101-20110110 71,664 34 23 28.5 1.81 5.43 2.53 6.74 2.21 5.16 20110101-20110132 530,285 39 24 31.5 6.39 10.43 7.53 12.51 5.86 12.53 構成#1 構成#2 構成#3 既存環境(DWHアプライアンス)と比較して、5倍~20倍の性能向上 ※費用差額も踏まえ、アプライアンスの最新機種は除外 W/最新PCサーバ
28.
Copyright © 2012-2014
K.K.Ashisuto All Rights Reserved. 28 性能優位≠置換え可 ● 性能面はあくまで一つの評価指標 ● 異種DB置換えには必ず移行コストが発生 本体価格 (ソフト、ハード) 保守費用 ハードウェア ソフトウェア 保守費用 移行費用 移行費用 DWHアプライアンス 最新機種への更改 コスト差額 置換えるだけの 価格メリットもしくは 同等の価値があるか
29.
Copyright © 2012-2014
K.K.Ashisuto All Rights Reserved. 29 ● 5年単位のリプレース計画は、主にハードウェアの老朽化対策として行われる ● ソフトウェア製品は、システム更改時のライセンス再購入不要 InfiniDBとアプライアンス製品のランニングコストの比較 アプライアンス型 製品の場合 ソフトウェア型 の場合 5~6年目 4年目 3年目 2年目 初年度 H/W 移行 保 守 保 守 5年間の投資総額 H/W 保 守 保 守 保 守 保 守 保 守 保 守 保 守 保 守 5~6年目 4年目 3年目 2年目 初年度 H/W+S/W 保守 5年間の投資総額 保守 保守 保守 保守 H/W+S/W コ ス ト の 差 額 費用の差額 : システム更改の度に買い直しが発生し、累積では多額の費用負担となる。 システム更新時に 毎回システム全体 の購入が必要! S/W (参考)ランニングコストの比較
30.
Copyright © 2012-2014
K.K.Ashisuto All Rights Reserved. 30 ケーススタディ4
31.
Copyright © 2012-2014
K.K.Ashisuto All Rights Reserved. 31 RDBMSはやっぱり偉大 RDBMSの自由度、 万能さは捨てがたい。。。
32.
Copyright © 2012-2014
K.K.Ashisuto All Rights Reserved. 32 トータルバランスを考えて それぞれの能力を最大限引き出す RDBMS 列指向型DB 現在 対象 過去 更新処理 1行データの抽出 得意 大量データ処理 分析・集計 大量データの抽出 (分析・集計) 不得意 更新処理 1行データの抽出 一つのアーキテクチャに固執しない RDBMS RDBMS 列指向型 DB
33.
Copyright © 2012-2014
K.K.Ashisuto All Rights Reserved. 33 レスポンス課題を列指向DBで解消する 独自構築した日本最大規模のデータベース (消費者9,500万件・企業情報750万件)を用いて データベースマーケティング支援とCRM戦略立案を提供 課題 株式会社ランドスケイプがこれまで内製で作り 上げたマーケティング・システムは、長年に渡る チューニング作業の結果、システム全体では 非常に高い検索性能を 実現できていた。 が、一部の大量データに対する検索処理は、 検索に1分以上を要するなど、長年のシステム 課題となっていた。 ランドスケイプ社 上位エディション + オプション機能 全文検索エンジン への置き換え 既存DB環境を ブラッシュアップ
34.
Copyright © 2012-2014
K.K.Ashisuto All Rights Reserved. 34 組合せてコストパフォーマンスを最適化 営業担当:150名 独自に 同期処理を実装 検索処理&更新 (メンテナンス) 法人データ :750万件 過去履歴累計 :4000万件 マーケティングDB(法人DB)の性能改善マーケティングDB(法人DB)の性能改善 重い検索処理 (LIKE検索) Oracle SEと併用することで、移行コストも最小にOracle SEと併用することで、移行コストも最小に 1分以上かかっていた検索が2秒に、 2週間かかっていた商談が3日に ランドスケイプ社の場合
35.
Copyright © 2012-2014
K.K.Ashisuto All Rights Reserved. 35 汎用DBMSを使い倒す!! 業務系AP 販売管理システム性能の安定販売管理システム性能の安定 業務担当者 企画・管理者 売上速報みたい 在庫状況みたい 販売傾向知りたい 過去実績比較 某スポーツ用品メーカーの場合 業務系DB 基幹業務である販売管理システムを刷新、情報活用・見える化を推進 情報系AP月末締めになると 負荷増で パフォーマンスダウン 上位エディション + オプション機能 既存DB環境を ブラッシュアップ 設計上の問題? チューニング?
36.
Copyright © 2012-2014
K.K.Ashisuto All Rights Reserved. 36 業務系DBと組合せてリアルタイム&負荷軽減 業務系AP 販売管理システム性能の安定販売管理システム性能の安定 業務担当者 企画・管理者 売上速報みたい 在庫状況みたい 販売傾向知りたい 過去実績比較 某スポーツ用品メーカーの場合 業務系DB 基幹業務である販売管理システムを刷新、情報活用・見える化を推進 情報系AP ETL経由 リアルタイム データの照会 (当月の範囲) 過去データ照会 (当月以前) 業務用DBの負荷軽減 情報系システムのレスポンス向上 業務用DBの負荷軽減 情報系システムのレスポンス向上
37.
Copyright © 2012-2014
K.K.Ashisuto All Rights Reserved. 37 まとめ ●廉価なPCサーバにおいても、必要十分な性能 が期待できます ●BIのバックエンドに置く小規模なデータベース から、大規模なDWH環境まで幅広く活用いた だいています ●動作環境は、パブリック・クラウドから自社内の 仮想環境まで、 幅広く対応しています。
38.
Copyright © 2012-2014
K.K.Ashisuto All Rights Reserved. 38 百聞は一見に如かず お手持ちの実データで、「速さ」と「手軽さ」を是非体験ください http://infinidb-tech.ashisuto.co.jp/ 検 索
39.
Copyright © 2012-2014
K.K.Ashisuto All Rights Reserved. 39 :本資料に記載されている社名、製品名は各社の商標または登録商標です。 :本資料の全体または一部に記載されている内容については、予告なく変更 する場合があります。
Download now