こんにちは。 インフラエンジニアの村上です。 マネーフォワードのインフラチームは、サービスに関わるインフラから、自社の作業環境、開発環境、さらにはサービスのインフラの中でも物理的なものからOS・ミドルウェア・アプリケーションのメンテナンス・ビルド・リリース・運用まで幅広く関与しています。 今回はGoogle Cloud PlatformのBigQueryを活用してアクセスログの分析環境を構築した時の話を紹介します。 この記事に書かれる事 データ分析基盤としてBigQueryを使用した話と データ量を例示しながら使用を開始した時のトラブルシュートとパフォーマンスについて紹介する。 データ移行のコツもうまく含めながら書いていく。 BigQueryを採用した訳 マネーフォワードの家計簿は350万人以上のお客様に利用いただき、 アクセスログは日々2.500万件程度増えております。 サービス開始から
はじめに トレジャーデータはクラウドでデータマネージメントサービスを提供しています。従来トレジャーデータのバルクインポート機能は「Client to Server」型で，別のサーバー上にあるデータをクライアントにいったん戻してアップロードするというものでした。 もちろんこれ自身とても便利な機能でしたが，サーバー上のあちこちに散在する様々なデータソースを一元的に管理でき，さらにクライアント側の処理を大幅に軽減することができれば，それは従来に比べると「革命」と呼べるくらいに強いインパクトとなります。 Data Connecter が「Server to Server」型のデータバルクロードを実現 トレジャーデータが提供する「Data Connector」は，クライアント側の処理をトレジャーデータがホスティングすることによって「Server to Server」型のバルクロードを可能にします。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
