大森田不可止 @omorita 新宿在住の酒好きオヤジ。ゲーム関係の仕事やってました。ゲームプログラムやウェブプログラム、DBプログラムはちょっと苦手。B型天秤座。ももクロファン。トラッドゲーム代表。 tradgames.net omorita.dip.jp 大森田不可止 @omorita ゲームの昔話。チュンソフトに関わったのはゲームスタジオ時代。プログラム能力を競い合ってた。ファミコンの裏技的技術を共有したのだな。それから私はフリーになって「いただきストリート」を作った。スーファミでモノポリーを作った頃にチュンソフトから要請があって手伝いに行った。#chunsn 2015-04-02 18:54:04 大森田不可止 @omorita 当時はマザー２を作らなければいけなかった。何かと思い通りに行かなくてツボってた時期。チュンソフトの中村社長が糸井さんに電話して私のレンタルが決まった。１ヶ
前回までの説明でCassandraのインストールと動かすところまでいきました。今回はCassandraのデータモデルを理解して、実際にデータにアクセスしてみましょう。 データはすべて4次元または5次元の連想配列 Cassandraのデータは非常にシンプルなデータモデルを持っています。データはすべて4次元または5次元の連想配列のようになっています。 4次元の場合は以下の形で値にアクセスします。 ［キースペース］［カラムファミリ］［キー］［カラム］ そして5次元の場合は以下の形でデータを特定します。 ［キースペース］［カラムファミリ］［キー］［スーパーカラム］［カラム］ Cassandraのデータモデルは以下の4つの概念で成り立っています。 カラム： データの最小単位。実際のキーと値、そしてタイムスタンプを持つ。 スーパーカラム： カラムの集合を扱う単位。 カラムファミリ： カラムまたはスーパ
2010年4月6日、Twitterは独自に開発した分散フレームワーク「Gizzard」をGitHubにオープンソースとして公開しました。Gizzardは「シャーディング」と呼ばれる、1台に格納するとパフォーマンスに影響を及ぼす大容量なデータベースを複数台に分割することで解決を図る手法をサポートするフレームワークです（図1）。TwitterのバックエンドにScalaが使われていることが以前話題となりましたが、このGizzardもScalaで書かれています。 図1 Gizzardのシステム構成モデル 出典：http://github.com/twitter/gizzard Gizzardはミドルウェアとして動作し、RailsやPHPなどで動くWebフロントエンドからのリクエストを受け取り、My-SQLやRedisのようなインメモリDB、Luceneなど各種データストアへ渡します。Twitt
はじめに 2010年のはじめ、TwitterがApache CassandraというJavaで実装された分散型のデータストアシステムを採用しつつあるというニュースが話題を呼びました。このことでCassandraは、NoSQLと呼ばれるシステムの中で最も注目を集めるものの一つになったと言えるでしょう。 2010年7月の時点で、Twitterは、位置情報のデータストレージ、トップツイート（トップページに表示される人気ツイート一覧）などのリアルタイム分析、データマイニング処理など、多くの用途でCassandraを活用しています。また、Cassandraを生み出し、のちにApache Foundationに寄贈したFacebookでは、5億人規模・150Tバイト以上のデータ量を持つユーザメッセージの検索機能（Inbox Search）を、150ノードのCassandraクラスタで処理しています。
What is WebScaleSQL? WebScaleSQL is a collaboration among engineers from several companies that face similar challenges in running MySQL at scale, and seek greater performance from a database technology tailored for their needs. Our goal in launching WebScaleSQL is to enable the scale-oriented members of the MySQL community to work more closely together in order to prioritize the aspects that are
https://www.youtube.com/watch?v=rP9EKvWt0zo 1 comment | 0 points | by WazanovaNews ■ comment by Jshiike | 約1時間前 TwitterのYao Yuが、大規模サービスのキャッシュにおいてRedisを活用する取組みについて紹介しています。 1) Redisを採用している理由 キャッシュだけで、ストレージとしては利用していない。 主なところでは、Twitterのタイムラインで利用している。ホーム画面であれ、ユーザ画面であれ、タイムラインはTweetのインデックスなので、key/valueストア型のRedisを利用するケースとして最適。 以前はmemcachedを使っていたが、問題になったのは、タイムラインでおきるread/writeは、（ユーザが閲覧している範囲に追加反映するということなの
2. DSIRNLP #4 / Twitterのsnowflakeについて 今日話す内容 •snowflake •Twitter社がOSSとして提供しているID生成器 •なぜこのようなツールが必要なのか •仕組みについて •etc,etc... 2 3. DSIRNLP #4 / Twitterのsnowflakeについて ID生成は結構大事（小並感） •たいていの処理の際にIDの生成は必要になる •例１：クローリングした各Webサイト群それぞ れにIDを割り振る •例２：n-gramで分かち書きをした各ワード群 それぞれにIDを割り振る •etc, etc... 3 4. DSIRNLP #4 / Twitterのsnowflakeについて ID生成の性能も結構大事 •例：１つのID生成に1msかかるとした場合、ID生 成処理にどれくらい時間がかかる？ •Webサイト１0億ページ the num
まえがき データにIDを持たせたいとき、単純な方法としては、DBの提供するauto incrementを使う場合やUUIDを利用することがある。それぞれの方法の利点欠点は以下の通り。 データベースのauto incrementを使う場合 利点: 特別な実装が必要ない 欠点: DBを1台で運用するとデータベースがパフォーマンス・障害のボトルネックになる DBを二台にするとIDのユニークさや順序の保証が困難 UUID(v4)※1を利用する場合 利点: 分散環境で各々がIDを生成しても衝突しない IDを公開したくない場合に、推測されにくいIDを生成できる 欠点: 128ビット必要、DBのインデクシングやプログラミング言語で扱うときに不利なことがある IDから時間の情報が失われる、例えば2つのIDを比べてどちらが古い投稿か判断できない 世界の大企業がどうしてるか 調べてみると多くの企業がブログなど
Facebook、Twitter、PayPal、LinkedInのMySQL担当者は、MySQLをどう使い、何を課題だと考えているか～MySQL Connect 2013 Facebook、Twitter、PayPal、LinkedInのMySQL担当エンジニアが集まり、それぞれの社内のMySQL利用状況、課題、これから期待する新機能などを語ったパネルディスカッションが、9月21日から23日までサンフランシスコで開催されたMySQLのイベント「MySQL Connect」の3番目の基調講演として行われました。 世界でもっともヘビーなMySQLユーザーといえる4社は、MySQLについてどのようなことを考えているのか、基調講演の内容をダイジェストで紹介しましょう。 Current MySQL Usage Models and Future Developments ──── まずはそれぞれの所
Twitterが分散フレームワーク「Gizzard」公開！ Scalaで書かれたShardingを実現するミドルウェア Twitterは独自に開発した分散フレームワークの「Gizzard」をオープンソースとして公開しました。GizzardはScalaで書かれたJavaVM上で動作するミドルウェアで、PHPやRubyといったWebアプリケーションからの要求を自動的にデータベースに分散することで、大規模で可用性の高い分散データベースを容易に実現するためのものです。 Gizzard：フォルトトレラントな分散データベースを実現 The Twitter Engineering Blog: Introducing Gizzard, a framework for creating distributed datastores Twitterのブログにポストされた「Introducing Gizzard
ユーザー同士のつながりを元に時系列に140文字のメッセージを20個ほど表示する――。Twitterのサービスは、文字にしてしまうと実にシンプルだが、背後には非常に大きな技術的チャレンジが横たわっている。つぶやき数は月間10億件を突破、Twitterを流れるメッセージ数は秒間120万にも達し、ユーザー同士のつながりを表すソーシャル・グラフですらメモリに載る量を超えている。途方もないスケールのデータをつないでいるにも関わらず、0.1秒以下でWebページの表示を完了させなければならない。そのために各データストレージは1～5ms程度で応答しなければならない。 Twitterのリスト機能の実装でプロジェクトリーダーを務めたこともあるNick Kallen氏が来日し、2010年4月19日から2日間の予定で開催中の「QCon Tokyo 2010」で基調講演を行った。「Data Architecture
「トマトに肥満防止効果」報道で全国的にトマトが売り切れ…Twitter騒然 1 名前：どすけべ学園高等部φ ★：2012/02/12(日) 07:31:55.28 ID:???0 全国でトマトが売り切れという怪現象が起きているという。記者も大好きなトマトだが、何故急に全国的に売り切れ現象が起きたのだろうか？ 理由は単純明快で、トマトに脂肪燃焼効果があると発表されたのだ。つまり肥満防止効果になるというわけだ。それがYahoo!ニュースにも取り上げられ、更にテレビでも報道されたから大変。 トマトだけで無く、トマトジュースまでもターゲットになり、全国的に売り切れているという。毎日トマトジュースを買っている私はそんな脂肪燃焼効果があることを知らずに飲んでいたのだが、嬉しい誤算である。 しかし今日で冷蔵庫のストックが無くなってしまうので、無事トマトジュースが購入出来るか 不安でもある。 こちら既にT
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
