GoAzure 2015:IoTなどの大量データをStream Analyticsでリアルタイムデータ分析してみよう

IoTなどの大量データを
Stream Analyticsで
リアルタイムデータ分析してみよう
Hidemasa Togashi

Introduction
富樫英雅 (@hid_tgc)
Infrastructure Engineer
at gloops
2012∼
2014∼
Infrastructure Manager
at Capy Inc.
滞在国
イスラエル
日本
アメリカ

http://www.geek.com/apps/googles-street-view-can-beat-captchas-99-of-the-time-1591547/
Google`s Street View can beat CAPTCHAs 99% of the the time

この講演のきっかけは . . .

C o n t e n t s
IoTとは？トレンドの紹介 1
Azure Stream Analyticsを使った事例紹介 3
Azure Stream Analyticsの紹介 2
Capyがどのように使っているかの実例紹介 4
実際に使った際の考察 5

I o T とは？トレンドの紹介

ref: http://iot-analytics.com/wp/wp-content/uploads/2014/10/IoT-Economic-value-forecast-1.png
市場

15Trillion USD on 2034
≒16.8GDP of USA on 2013

26,000,000,000
objects linked together in the IoT by 2020.
http://www.siemens.com/innovation/en/home/pictures-of-the-future/digitalization-and-software/internet-of-things-facts-and-forecasts.html

.Net micro framework Windows Developer Program for IoT
MSもIoTにかなり力を注いできている

デバイスが増えるデータも増える
これをどうやって集計するか…

Batch Interactive
/MPP
R e a l t i m e

B a t c h
23%
24%
28%
24%
バッチ処理は膨大なデータを並列的に処理することで統計処理などデータ処理を行うことがメイン。

Interactive / MPP
MPP: Massively Parallel Processing
Redshift Spark Big Query

I n t e r a c t i v e / M P P
低レイテンシーに処理することでイテレーション処理などを行うことがメイン。
25%
25% 25%
25%

22%
22%
33%
22%

25%
25% 25%
25%

21%
29% 29%
21%

これはイベントドリブンのようにイベント毎に処理を行うことを目的としています。
R e a l t i m e
100%
14%
29%
29%
29%
20%
30% 30%
20%21%
29% 29%
21%19%
24%
33%
24%25%
21% 32%
21%
27%
20% 30%
23%28%
21% 26%
26%
30%
20% 24%
26%28%
21% 26%
25%26%
20%
28%
26%25%
22%
28%
25%25%
24% 28%
24%23%
25% 29%
23%

用途例
Batch 膨大なデータ処理を行うアプリケーション ETL, リコメンデーション
Interactive
低レイテンシーが必要なアプリケーション
繰り返しの計算が必要なアプリケーション
機械学習
Realtime
膨大な入力に対して今のデータが重要なアプリケーション
Batch処理の入力データ整形
異常検知
イベント処理
トレンド検知
膨大な入力

膨大な入力
どうやって送信する？
どうやって受信する？
どうやって処理する？

Kinesis
Application
受信処理受信

Product Protocol API / SDK
Apache Kafka 独自Protocol Producer API
Amazon Kinesis HTTPS AWS SDK
Azure Event Hubs
HTTPS
AMQPS
REST API
Azure SDK
プロトコル

デバイスから
イベント送信

デバイスから
イベント送信
セキュアに

HTTPS
MQTT
CoAP
AMQP
メジャーなプロトコル

ログ送信といえば

https://github.com/htgc/ﬂuent-plugin-azureeventhubs

https://github.com/htgc/ﬂuent-plugin-kafka

Vs.独自コード SQL Like Query

独自コード SQL Like Query

処理の柔軟性

開発の容易性

CloudServiceSelf-Managed

Stream Analytics
SQL Like なクエリでストリーム処理ができるクラウドサービス

A z u r e S t r e a m A n a l y t i c s の紹介

Blob Storage
更新頻度の低いリファレンスデータなど
Event Hubs
デバイスなどから都度送信されてくるイベント
データなど
I n p u t

Blob Storage
HDInsightやAzure MLなどの入力用
Event Hubs
別イベント処理の入力用
O u t p u t
SQL Database
アプリケーションの参照用

Type Description
bigint 64bit 符号付き整数
ﬂoat 64bit 符号付き浮動小数点数
nvarchar(max) string
datetime datetime型
D a t a Ty p e s

SELECT FROM WHERE
GROUP BY HAVING CASE
JOIN UNION WITH
Q u e r y

Sliding Window
Hopping Window
Tumbling Window
W i n d o w i n g

指定した時間(windowsize)で間隔を区切り、
区切られた時間内のイベントを対象として処理する。
TUMBLINGWINDOW ( timeunit , windowsize )
TUMBLINGWINDOW ( Duration( timeunit , windowsize ) )
Tumbling Window
1
2

SELECT
System.TimeStamp AS OutTime,
TollId,
COUNT(*)
FROM Input
TIMESTAMP BY EntryTime
GROUP BY TollId, TumblingWindow(minute,5)
Tumbling Window

指定した時間(hopsize)毎に、区切られた時間
(windowsize)内のイベントを対象として処理する。
HOPPINGWINDOW ( timeunit , windowsize , hopsize )
HOPPINGWINDOW ( Duration( timeunit , windowsize ) ,
Hop (timeunit , windowsize )
Hopping Window
1
2

SELECT
System.TimeStamp AS OutTime,
TollId,
COUNT(*)
FROM Input
TIMESTAMP BY EntryTime
GROUP BY TollId, HoppingWindow(minute,10 , 5)
Hopping Window

イベント事に指定した時間(windowsize)内の
イベントを対象として処理する。
SLIDINGWINDOW ( timeunit , windowsize )
SLIDINGWINDOW ( Duration( timeunit , windowsize ) )
Sliding Window
1
2

SELECT
DateAdd(minute,-3,System.TimeStamp) AS WinStartTime,
System.TimeStamp AS WinEndTime,
TollId,
COUNT(*)
FROM Input TIMESTAMP BY EntryTime
GROUP BY TollId, SlidingWindow(minute, 3)
HAVING COUNT(*) > 3
Sliding Window

Time unit Abbreviations
day dd, d
hour hh
minute mi, n
second ss, s
millisecond ms
microsecond mcs
nanosecond ns

A z u r e S t r e a m A n a l y t i c s を使った事例紹介

C a p y がどのように使っているかの実例紹介

SELECT remote_ip, COUNT(*)
FROM access_log
WHERE uri = ‘<URI>’
GROUP BY remote_ip,
SLIDING_WINDOW(minute, 10)
HAVING COUNT(*) > 10;
Subscribe
EventProcessorHost
SETEX
Expire: PenaltyTime

実際に使った際の考察

Event HubsからのイベントをSubscribeできない
当初、他のシステムと同様PythonでSubscribe→RedisへSETを行おうと
考えていたが、Qpid-Protonを使用してもEvent Hubsへ接続が行えず断
念。(原因は恐らくConsumerGroupとPartitionの指定の不備)
しかしAMQPでのDirect Connectの場合はパーティション毎にコネクショ
ンを張る必要があり面倒なので、EventProcessorHost classを用いて接続
した方が全然楽。
はまった点
Stream AnalyticsからのJSONデータがデコードできない
出力をJSONに指定するとリスト型で出力されるが、何故かリストが閉じ
ていないためJSONのデコードに失敗する。
今のところは原始的ですが
var listObject = DynamicJSON.Parse(string.Format(“{0}]”, data));

Event HubsからのイベントをSubscribeできない
当初、他のシステムと同様PythonでSubscribe→RedisへSETを行おうと
考えていたが、Qpid-Protonを使用してもEvent Hubsへ接続が行えず断
念。(原因は恐らくConsumerGroupとPartitionの指定の不備)
しかしAMQPでのDirect Connectの場合はパーティション毎にコネクショ
ンを張る必要があり面倒なので、EventProcessorHost classを用いて接続
した方が全然楽。
はまった点

はまった点
Stream AnalyticsからのJSONデータがデコードできない
出力をJSONに指定するとリスト型で出力されるが、何故かリストが閉じ
ていないためJSONのデコードに失敗する。
今のところは原始的ですが
var listObject = DynamicJSON.Parse(string.Format(“{0}]”, data));
のように強制的にリストを閉じてデコードしてます。

Stream Analyticsのもろもろの設定を変更する際には一度停止が必要。
e.g.
• Inputs
• Output
• Query
• Scale

Stream Analyticsのスケール要否の判断基準がメトリ
クスから読み取りにくい。
※見ることの出来るデータは以下のとおり
• Input Events
• Output Events
• Data Conversion Errors
• Out of order Events
• Errors

Event Hubsからのイベント受信の使い勝手が
EventProcessorHost以外では悪い。
そのためLinux系でシステムを組みながらEvent Hubs
でLambda Architectureなどを組みづらい。

現状はまだプレビュー版のため正式リリース時にはこ
の課題も解消しているかもしれません。

• IoTのトレンドは今後確実に伸びていく
• 大量のデバイスから生成されるデータ集計にはバッ
チ処理に加えてリアルタイム性も必要となってくる
• Event Hubsへのデータの送信からStream Analytics
でのクエリ実行までは物凄く簡単
• Event Hubs + Stream AnalyticsはIoTのみでなくM2M
のリアルタムログ分析基盤としてはかなり強力なツー
ルになり得る

GoAzure 2015:IoTなどの大量データをStream Analyticsでリアルタイムデータ分析してみよう

More Related Content

GoAzure 2015:IoTなどの大量データをStream Analyticsでリアルタイムデータ分析してみよう