kimutanskのブックマーク / 2016年12月15日

kimutansk id:kimutansk

2016年12月15日のブックマーク (4件)

Apache FlinkのWindow周りAPIを紹介 - Qiita
Distributed computing (Apache Hadoop, Spark, ...) Advent Calendar 2016 15日目の記事です. Apache FlinkのStreaming APIにおけるWindow周りの機能を紹介してみます. https://ci.apache.org/projects/flink/flink-docs-release-1.1/apis/streaming/windows.html に書いてあるような内容です. ベースにしているFlinkのバージョンは1.1です. 例などはScalaで書きますが、Javaでも大体同じような感じです. はじめにストリーム処理では、データは終わること無く永遠に流れてきます. 従って、そこに対して計算を行うためには、何かしらの手段で計算対象のデータを区切ることが必要になってきます. この、永続的に流れるデ
kimutansk 2016/12/15
固定長WindowはGoogleですとFixedですが、FlinkやKinesisですとTumblingなのでそちらになる流れですかね。Windowの概念説明はわかりやすいです。

stream

flink
リンク
基幹業務もHadoop(EMR)で!!のその後
11. 店舗発注業務の裏側ローソン全業務で利⽤されるマスタデータを⽇次バッチで最新化 1 最新化された全業務マスタデータの更新差分を各店舗へファイル連携店舗へ更新分データのファイル連携 2 本部センターファイル連携基盤ストアコンピュータデータ反映発注端末商品を発注しますね更新データ全業務マスタデータ⽇次バッチ処理最新化 1 2 3 4 全業務マスタデータの最新化処理連携されたファイルデータを各店舗にあるストコン内のDBへ反映する。 3 最新化されたマスタデータをもとに発注業務を実施発注時の商品データ参照4 更新分データのDB反映処理 12. 店舗発注業務の裏側ローソン全業務で利⽤されるマスタデータを⽇次バッチで最新化 1 最新化された全業務マスタデータの更新差分を各店舗へファイル連携店舗へ更新分データのファイル連携 2 本部センターファイル連
kimutansk 2016/12/15
チューニング結果ボトルネックが移動と。ただ、Auroraでも構成図だけ見ちゃうとスケールアウトできない個所でいつか死ねる気もします。もっと前段階の見切りが必要・・？

aws

hadoop
リンク
基幹業務もHadoopで!! -ローソンにおける店舗発注業務への�Hadoop + Hive導入とその取り組みについて-
基幹業務もHadoopで!! -ローソンにおける店舗発注業務への�Hadoop + Hive導入とその取り組みについて-
kimutansk 2016/12/15
AWSとHadoopの上で実施しているものの、業務のせいかやはりSIer感を感じさせる内容。とはいえ、だからこそ資料を見ていて面白いです。

hadoop

aws
リンク
Awsでつくるapache kafkaといろんな悩み
2. AWS上でKafkaを利⽤するために考えたこと ü どのようなポイントがあったか ü どのようにそのポイントに対応したか ü (Kafka on クラウドの情報って以外と少ない) Kafka on AWS(⼩中規模)の話 ※資料は終了後公開します 3. ＊ Techno logy Innovation Group スペシャリスト＊今の専⾨ -> ⼤きいデータを扱う領域(インフラ〜アプリ) ＊最近はもっぱらKafkaとストリーム処理エンジンの諸々須⽥桂伍 (すだけいご) @keigodasu
kimutansk 2016/12/15
そもそもKinesis VPC EndPointがあればすべて解決する、東京リージョンにAZが3つあれば解決する・・・そういうの、よくありますよねーー；

stream

kafka
リンク
- 2016年12月16日
- 2016年12月15日
- 2016年12月14日