はてなブックマーク

※1 INSERT,DELETE,DDL文については1行文、UPDATE文については更新前後の2行分 troccoでCDC転送を行う際には ①troccoがMySQLのbinlogをBigQuery上に転送 ②binlogのデータから重複を排除し、それぞれのレコードの最新のレコードの集合を作成 ③↑の集合を現在のBigQueryテーブルとマージし、マージ後のテーブルで置換する という手順を踏んでいます。 CDC転送の詳細な手順についてはこちらのドキュメントの「テクニカルオーバービュー」の項をご参照ください。 2-1. MySQLのパラメータ設定 troccoのドキュメントを参照しつつ、MySQLのパラメータ設定を行います。 binlogの設定を反映させるためにはDBの再起動が必要です。 DBを再起動して次のステップに進みます。 2-2. MySQLの権限設定 troccoのドキュメントを参

概要 AWSではアプリケーションのデプロイや、システムのスケーリングを自動化することができます。 しかしそれらを実現しようとすると、似たようなサービスの中から用途に合ったものを選ぶ事になると思います。 今回は選択肢となり得るサービスを挙げて、それぞれの出来る事、出来ない事をベースに比較していこうと思います。 比較の軸 以下のように、評価軸を設けました。 サービスの機構として提供されているものは◯とします。 機構として提供されているが、使い難いものは△とします。(例: AWS CLIを利用した場合のみ利用可能など) 機構としては提供されていないが、別の機構などを組み合わせることで容易に実現可能なら△とします。 別の機構などを組み合わせても辛い場合や、実現不可能なら×とします。 デプロイ自動化 まずはアプリケーションのデプロイを自動化するサービスの比較を行います。 以下の4つの選択肢があります

こんにちは。リブセンスで分析基盤エンジニアをやっている @hiro-koba と申します。 この記事はLivesense Advent Calendar 2016 その3の11日目となっています。 弊社Advent Calendarはその3以外にその1、その2もございますので、併せてご覧くださいませ。 はじめに 弊社では分析基盤を自社開発しており、サイト上の行動データを、コンバージョンデータや属性データ等と紐付けて分析可能な環境を持っております。 そこで貯まったデータを利用し、以下のような用途で使用しております。 KPIモニタリング 流入数・CV数などの達成状況把握 異常値の発見 探索的分析 サイト上等に問題があった場合、ユーザーのPV単位まで遡って調査 レコメンデーション 行動ベースでの求人レコメンド 特に1のような用途において、「ダッシュボードツール」と呼ばれる、データをグラフなどで可