Amazon Data Firehoseの入門から実戦まで

Transcript

1. 2024/11/20 九州AWS若⼿の会#2 おのやん Amazon Data Firehoseの ⼊⾨から実戦まで

2. ⽬次 2 1.⾃⼰紹介 2.Amazon Data Firehoseとは？ 3.実際のユースケース 4.IaCテンプレート例 5.注意点いろいろ 6.まとめ

3. ⾃⼰紹介 3 • 2023年4⽉ クラスメソッド 新卒⼊社 • 2024年7⽉ 2024 AWS

   Jr.Champion ◦ お客様のAWS環境構築を技術的に⽀援 • 部署 ◦ AWS事業本部 コンサルティング部 • 名前（ニックネーム） ◦ ⼩野⼭ 翔⼤ (おのやん) • 出⾝‧住まい ◦ 福岡 • 趣味 ◦ ランニング‧バドミントン ◦ 特撮

4. Amazon Data Firehoseとは 4 l AWS フルマネージドサービス l ストリーミングデータを収集‧変換 l

   他のAWS サービスなど、 分析⽤データストアに配信可能 l 旧 Amazon Kinesis Data Firehose l ストリーミングデータを S3バケット（バケツ）に流す 消⽕ホース（Firehose）のイメージ

5. コンソールで新アイコンが適⽤されている 数少ないサービス（当⽅観測範囲内） Amazon Data Firehoseとは 5

6. Amazon Data Firehoseとは 6 https://dev.classmethod.jp/articles/introduction-2024-amazon-data-firehose/

7. Amazon Data Firehoseとは 7 l 1つのストリームを構成単位とする l 「Data Firehose ストリームを作成」

   l バッファサイズとバッファ間隔を ストリームごとに設定 l バッファサイズ：特定のサイズに達したら データストアに保存 l バッファ間隔：特定の期間が経過したら データストアに保存

8. 実際のユースケース 8 l ストリームデータをデータストアに 保存する際のつなぎ l CloudWatchログをS3に保存したい！ l 外部SaaSのログをS3に保存したい！ l

   バッファリングのサイズや時間について 実装が不必要に l シンプルな分、保存ファイル名の変更が 効かないなどの制約はある https://dev.classmethod.jp/articles/introduction-2024- amazon-data-firehose/

9. IaC テンプレート例 9

10. 注意点いろいろ 10 IaC経由で構築時：Data Firehose ログストリームの作成が必要 l CloudWatch ロググループだけだと構築に失敗する l CloudWatch

    ログストリームも明⽰的に作成が必要

11. 注意点いろいろ 11 Data Firehose => S3で保存したGZIP圧縮ファイル： ブラウザ経由でDLすると勝⼿に解凍されるが、ファイルの拡張⼦は変わらない l PCでファイルの内容を確認するときに引っかかりがち

12. Amazon Data Firehoseとは：おかわり 12 https://dev.classmethod.jp/articles/introduction-2024-amazon-data-firehose/

13. ファイル名や圧縮形式にそこまで制約がなく ストリーミングデータをデータストアへシンプルに配信したいなら Data Firehoseは⼤いに採⽤の価値あり！！ まとめ 13

14. None