タグ

logprocessに関するmasa_matyaのブックマーク (2)

  • ログ解析を支えるNoSQLの技術

    2. 自己紹介 •  川上 知成 •  @tomofusa •  株式会社ドリコム •  ソーシャルゲーム事業部 •  ICTデザイン部 ICTグループ長 •  ソーシャルゲーム開発を経て –  アーキテクトグループのマネジメント 12/02/20 © Drecom Co.,Ltd. All rights Reserved 2

    ログ解析を支えるNoSQLの技術
  • Robust log process

    2. はじめに 1. スケーラブルなログ集計を安全に構築するために我々が考慮していることを説明します。 2. 広告集計という特性上、「超高速にかつ高効率に!」というよりはどちらかというと「多少の非効率は目をつぶって安全側に寄せる」という設計方針になっています。 3. 上司から突然「来月から 1 日 10 億越えのアクセスをうことになるから集計システムはよろしくね♪」という日が来るかもしれないので、来たる日に備えてもらえればと思います。 4. 自己紹介 山崎大輔 Twitter: @yamaz Blog : 最速配信研究会 http://d.hatena.ne.jp/yamaz/ 現在:株式会社スケールアウト 代表 1 日数億~を超えるような配信をカジュアルに行うための 広告配信システム「 ScaleAds 」の開発と販売およびコンサル かれこれオンライン広告業界で 14 年やってます

    Robust log process
    masa_matya
    masa_matya 2011/11/08
    集計サーバでJOINしなくて良いようにログ側で工夫。二重カウントをさけるためにログのネットワーク転送は行わない、ローテした後のものを転送、集計。冪等性への意識。最終型を加味したプランニング
  • 1