こんにちは！データエンジニアリングチームの長谷川と田畠です。 グリーのデータ分析基盤を良くする仕事をしています。 これはGREE Advent Calendar 2015の6日目の記事です。昨日のRobinさんの記事はVR開発に取り組んだことがあるからこそ書ける記事で、みなさんにとっても新鮮だったのではないでしょうか？ 今日はゲームから少し離れて、KPIダッシュボードのバックエンドをオンプレミスからAWSに移行した話をしたいと思います。最後までお付き合いよろしくお願いします。 はじめに KPI分析を定常的に行うことは、プロダクトの改善のために非常に重要であり、グリーにおいても多くのプロダクトがKPIを閲覧/分析するためのシステムを利用しています。 社内の分析環境では、KPIのデータは時系列データベースに保存されており、内製のグラフ描画ツールにアクセスすることでグラフとして閲覧することができ
前編（「ビッグデータは“リアルタイム”でこそ価値がある」）では、リアルタイムなビッグデータ解析プロジェクト「CET（Capture EveryThing）」が始まったきっかけから、いまのチームまで組織に焦点を当てました。 後編では、いよいよビッグデータ解析のシステムについて深掘りしていきます。 Amazonのクラウドサービスを活用して作り上げた現状のシステムを捨て、Googleで作る構成に変えようとしているそう。その意図とは。 クラウドサービスのコストパフォーマンスなど、エンジニアやアーキテクトには気になる情報が満載です。 「CET」で基盤構築や分析・集計アプリケーションの開発を行っている、吉田啓二さんに聞きました。 聞き手／構成／編集／写真：小川楓太（NEWPEACE Inc.） AWSで本格的に運用するのは厳しいかなという印象です —— 今回構築された基盤の具体的なシステム構成はどのよ
AWS Black Belt Tech シリーズ 2015 - Amazon DynamoDB
Dynamoの論文 規模が大きくなるにつれて、RDBMSの課題に直面 スケーラビリティ 処理能力を向上させるのが難しい。データの再配置、より大きなHWを導入するなどの対処が必要。 可用性 RDBMSは可用性よりもデータの整合性を重視する設計 トランザクション処理が不要な場面でも、全てはトランザクションとして処理される�パフォーマンスのオーバーヘッド大 AWS上に「サービス」として実装 Amazon Dynamoをサービス化したものではないので注意 パフォーマンスのために堅牢性・可用性を妥協しない 常に低レイテンシーで応答を返す 開発者（利用者）はスケーラビリティを気にしなくて良く、いつでも簡単に増減できる サーバーやディスク台数ではなく、シンプルに必要な読み書きの性能数値を指定するだけ 管理作業が不要 consistent, single-digit millisecond latenc
なんだかんだとRDBよりKVSが好きな渡辺です。 今回は、YCSB(Yahoo! Cloud System Benchmark)でDynamoDBにベンチマークテストを試してみようと思います。YCSBの売りは様々なクラウドKVSのベンチマークを計測できる点にあります。 しかし、KVSはプロダクトによって癖が強く、同じデータで同じような負荷をかけても一色単に比較できるというわけでもありません。最適な使い方をしているかどうかを見極めなければならないことは注意してください。 YCSBの準備 YCSBはJavaで書かれてあり、Mavenでビルドします。Amazon Linux上にYCSBをインストールするという前提で、セットアップしていきましょう。 JDKのインストール Amazon LinuxにインストールされているのはJREなのでJDKをインストールします。 $ sudo yum -y ins
日本最大の即レスサービス「アンサー」を支える Amazon DynamoDB
アンサーにおけるDynamoDBの運用経験から、非経験者に向けてハマりポイントなどを解説しました。Read less
NoSQLのAmazon DynamoDBがJSONドキュメントに対応、25GB/月間2億リクエストまで無料枠も拡大
NoSQLのAmazon DynamoDBがJSONドキュメントに対応、25GB/月間2億リクエストまで無料枠も拡大 Amazonクラウドが提供している「Amazon DynamoDB」は、フルマネージドのNoSQLデータベースです。ほぼ無限にデータベースをスケールさせることができるため容量のことを気にする必要がなく、固定されたスキーマを持たない柔軟性と、SSDを利用することによる高いスループットを実現。NoSQLでありながら一貫性を制御するオプションも備えています。 まさにクラウドの特長を活かしたサービスであるDynamoDBが、JSONドキュメントをデータ型としてサポートしたと発表されました。 これでDynamoDBのスケーラビリティや性能はそのまま、キーバリュー型だけでなくJSONドキュメントも扱えるようになりました。 キーバリューに加えてJSONドキュメントも JSONとは、Jav
DynamoDB, SQSなどは、Linux内部から高頻度に HTTP APIを叩きに行くことになる。( Fluentdやら、memcachedやらも同じかも) 通常のLinuxのカーネルパラメータ設定で、本番環境や、負荷テスト環境に使うと、おそらくネットワーク障害のような状況に陥るはず。 その時、「DynamoDBの IOPS不足？」「 SQSのAPI スロットリング？「AWSの限界？」と思う前に、これチェック！ netstat -an この結果に、大量のTIME_WAITが表示された場合は、 エフェメラルポートが枯渇して socket作れない状態に陥っている。つまり、DynamoDBやSQSまでパケット届いていない状態なのでAWS側は原因ではない。 ということで、エフェメラルポートを最大限使うようにカーネルパラメータを設定しておくことを忘れないようにするためのメモ。 $ sudo cp
CTOの椎名アマドです。 今回は、Pairyのチャットデータを全てRedisからAmazon DynamoDBに移行した話をしたいと思います。 我々が 2012年6月に カップル専用アプリ Pairy をリリースした時には、 データベースは MySQL と Redis の両方を利用するところで始めました。 Redis の役割は： 1. MySQLレスポンスのキャッシュ 2. プッシュ通知等のキュー 3. チャットのデータを全保管 サービスローンチ直後はまだ Appサーバー(EC2)１台と、MySQL & Redisを両方走らせてる DBサーバー(EC2)１台で十分だという判断で、しばらくはそんな構成でやってました。（S3などは省略） しかし、いざサービスが成長してくるともちろん MySQL & Redis を１台でまかなうのはキツくなり、MySQL と Redis を別々のEC2インスタン
こんにちは。開発部の坂本です。 AWSのデータベースサービスで1番有名なのはRDBMSのデータベースサービスであるRDSかと思います。わたし個人としてもデータベースはRDBMSしか利用したことがなく、NoSQLに触れたことがありませんでした。そのため、今回はAWSのNoSQLデータベースサービスである「DynamoDB」に少し触ってみました。 その際の手順を簡単ではありますが、入門編としてまとめたいと思います。 目次 DynamoDBとは DynamoDBの特徴 開始手順 AWS SDK for PHP 2 Put Get Scan まとめ 1. DynamoDBとは 「DynamoDB」はAWSのフルマネージドNoSQLデータベースサービスです。 2006年に「Dynamo」という論文が書かれ、その論文を元にして作成されたサービスが「DynamoDB」です。 2. DynamoDBの特徴
Amazon DynamoDBを使う機会があったので メモ書きと雑感を書き残してみます。 なんか間違ってたらツッコミ欲しいです。 Amazon DynamoDBとは ざっくりと噛み砕いて説明すると 「SSDでめちゃ速くて勝手にスケールしてくれるKVS」 ですかね。 詳しくは公式ドキュメントを。 http://aws.amazon.com/jp/dynamodb/#access_model_api_overview DynamoDBのデータ構造 DynamoDBは「テーブル単位」で管理します。 最初にテーブル名／主キー名／スループットなどを決定してテーブルを作成します。 Rowデータには連想配列っぽい感じでなんでも入れられます。スキーマレスってやつですね。 また、格納できるデータ型については「数値型」「文字型」です。 テーブルキーのアクセスモデル DynamoDBではテーブルを作成するときに
1. Amazon DynamoDB -NoSQL Service in the Cloud- AWSマイスターシリーズRELOADED Shinpei OHTANI ohtani@amazon.co.jp 3. 進化・深化するAWSプラットフォーム お客様のアプリケーション IDE プラグイン Tools to ライブラリ & SDKs Web インターフェース デプロイと自動化 Access Java, PHP, .NET, Eclipse AWS Elastic Beanstalk Services Python, Ruby Management Console Visual Studio AWS CloudFormation ネットワーク＆ルーティング 認証 & 請求 Amazon VPC Cross- AWS IAM モニタリング スケーリング Amazon Elastic LB
Stop the CNAME chain struggle: Simplified management with Route 53 Resolver DNS Firewall Starting today, you can configure your DNS Firewall to automatically trust all domains in a resolution chain (such as aCNAME, DNAME, or Alias chain). Let’s walk through this in nontechnical terms for those unfamiliar with DNS. Why use DNS Firewall? DNS Firewall provides protection for outbound DNS requests fro
ツイートAbell 2218 / NASAblueshift先日の AWS Summit Tokyo 2013 では（あくまで個人的には）得るものが少なかったので、 Redshift についてもうすこし話を聞いてみたくて、今日は「AWSのビッグデータサービスを使いこなせ！」というセミナーに行って来ました。 というわけで、ということもないですが、わたしがとってきたメモを残しておこうと思います。 ※後ほど、少し追記等の更新をするつもりでいます。 短いですが、最初に所感を書くと、AWS が提供する BigData 関連プロダクト（ EMR, DynamoDB, そして Redshift ）を一挙に聞け、各プロダクトをどのように使い分けるべきなのか理解が進んだという意味で、とても有意義なセミナーでした。 ※今日の資料は当日のアンケートに資料送付希望と回答することで後日もらえるらしいので、改めて資料
よく訓練されたアップル信者、都元です。 AWSにおける代表的なKVS型データベース「DynamoDB」、皆様活用されておりますでしょうか。 RDBはACIDという特性が(略)。一方KVSではBASEという(略)。この辺りについてはAmazon RDSにおけるFallback-Queueingパターンというエントリでご紹介しましたので、参照してください。 さて、そんなDynamoDBでトランザクションを実現するJavaライブラリが出現しました。名前はそのまんま「dynamodb-transactions」。 というわけで早速試してみました。 インストール Javaプロジェクトでライブラリを利用する際は、Maven等を使ってpom.xml等に依存性を定義するだけで使えると良いのですが、このライブラリは現時点ではどこかのMavenリポジトリにホストされている訳ではないようなので、自分でビルドする
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon DynamoDBの紹介と東急ハンズでの活用について
