Google BigQuery introduction

資料 - The new Oil
翟本喬：
● 存得起來的，叫做
Storage (儲存)
● 看得到的，叫做Data (資
料)
● 看得懂的，叫做
Information (資訊)
● 用得出來的，才能夠叫做
Intelligent (智慧)

AP002

AP...

APxyz

RPT01
Data Warehouse

COST!!!

OLAP / Mining / Customize...

AP001

Backup / House Keeping / Integrate...

傳統的大量資料做法 - Data Mining

RPT02

RPT...

RPTn

現在的大量資料做法 - Hadoop
COST!!!

COST!!!

Latency!!!

BigQuery做到了什麼
●
●
●
●
●
●
●

TB等級資料分析
最快速的資料探勘方式
SQL-like查詢語法
跨多個資料集合交互查詢
便宜、依使用量付費
及時回應、批次查詢
各式開發工具支援、Google
Apps 整合

Google安全性與隱私權申明
● 安全與隱私權總覽：https://support.google.
com/a/answer/60762
● 政策與原則 - 隱私權政策：http://www.google.
com/policies/privacy/
● SSAE 16 & ISAE 3402 Type II稽核

BigQuery的資料匯流

●
●
●
BigQuery ●

JSON, CSV格式輸入
資料串流輸入
CloudStorage服務儲存體串聯
AppEngine記錄日誌串聯

開發與支援工具
●
●
●
●
●
●
●

網頁管理介面
指令列工具- bq指令
Apps Script支援
REST API
SDK (client libraries)
第三方工具
第三方服務提供商

BigQuery架構延伸
Strategy Support

Applications

Apps
Script

AppEngine
Datastore

Cloud
Storage
AppEngine
Log

BigQuery

Warehouse

Case Study - Boo-box
需求 :
● 實現一個強大的數據分析工具，迅速洞察廣告分佈。
● 更有效地定位廣告來服務顧客。
● 避免增加機械和專職工作人員
使用:
● 選擇BigQuery中google龐大的數據處理基礎設施的優勢
● 使用簡單類似SQL的語言分析大數據集
● 每月從分析上市350,000的blog和網站廣告的效果來改善目標
改善:
● 在五秒鐘內分析數十億行數據
● 每年避免了需要購買額外的設備或工作人員
● 改進決策、客戶服務和廣告支出詳細的報告

Case Study - SongPop
需求:
● 6人團隊，僅一人全職後端。
● 每天需要處理和分配17TB的音樂和圖片。
使用:
●
●
●

Google App Engine：節省設備採購及人力需求
Google Cloud Storage：儲存遊戲、音樂及影片檔案
Google BigQuery：分析及歸納遊戲使用資訊

改善:
●
●
●

僅需一位全職後端即可支援超過
6千萬用戶
僅需專注軟體安全，其他網路及作業系統安全由
Google負責
採用GAE後節省系統及資安硬體採購之維護成本

Google BigQuery introduction

More Related Content

Google BigQuery introduction