[B! twitter][infrastructure] HeavyFeatherのブックマーク

HeavyFeather id:HeavyFeather

twitterとinfrastructureに関するHeavyFeatherのブックマーク (6)

Twitterにおける大規模システム構築、3つの原則
4月に米サンタクララで行われたMySQL Confernce & Expo 211では、TwitterのJeremy Cole氏が「Big and Small Data at @Twitter」と題して、同社のシステムにおける原則とシステム構成について紹介したプレゼンテーションが行われました。 1日に1億5000万以上のツイートが行われているTwitterのシステムはどのように構築されているのか、その内容を紹介しましょう。 Twitterにおける原則 TwitterのJeremy Cole氏。
HeavyFeather 2011/06/23
twitter

infrastructure

db

design

MySQL
リンク
Twitterの大規模システム運用技術、あるいはクジラの腹の中（後編）～Twitterのサブシステム「Unicorn」「Kestrel」「Flock DB」
Twitterの大規模システム運用技術、あるいはクジラの腹の中（後編）～Twitterのサブシステム「Unicorn」「Kestrel」「Flock DB」米サンタクララで行われていたWebサイトのパフォーマンスと運用に関するオライリーのイベント「Velocity 2010」の、Twitterのシステム運用について説明するセッション「In the Belly of the Whale: Operations at Twitter」（クジラの腹の中：Twitterでの運用）を紹介をしています。この記事は「「Twitterの大規模システム運用技術、あるいはクジラの腹の中（前編）～ログの科学的な分析と、Twitterの「ダークモード」」の続きです。 Twitterのサブシステム「loony」「Murder」「memcached」ここからはTwitterのサブシステムについて紹介しよう。 T
HeavyFeather 2010/07/04
twitter

webservice

server

db

performance

infrastructure
リンク
Twitterの大規模システム運用技術、あるいはクジラの腹の中（前編）～ログの科学的な分析と、Twitterの「ダークモード」
Twitterの大規模システム運用技術、あるいはクジラの腹の中（前編）～ログの科学的な分析と、Twitterの「ダークモード」先週の6月22日から、米サンタクララで行われていたWebサイトのパフォーマンスと運用に関するオライリーのイベント「Velocity 2010」が開催されていました。その中で、TwitterのJohn Adams氏がTwitterのシステム運用について説明するセッション「In the Belly of the Whale: Operations at Twitter」（クジラの腹の中：Twitterでの運用）が行われています。Twitterのような大規模かつリアルタイムなWebサイトの運用とはどういうものなのでしょうか？公開されているセッションの内容を基に概要を記事で紹介しましょう。システム管理者の新たな役割、Railsの性能の評価、Bittorrentを使った
HeavyFeather 2010/07/04
twitter

server

scalability

web

infrastructure
リンク
なぜTwitterは低遅延のままスケールできたのか秒間120万つぶやきを処理、Twitterシステムの“今” − ＠IT
ユーザー同士のつながりを元に時系列に140文字のメッセージを20個ほど表示する――。Twitterのサービスは、文字にしてしまうと実にシンプルだが、背後には非常に大きな技術的チャレンジが横たわっている。つぶやき数は月間10億件を突破、Twitterを流れるメッセージ数は秒間120万にも達し、ユーザー同士のつながりを表すソーシャル・グラフですらメモリに載る量を超えている。途方もないスケールのデータをつないでいるにも関わらず、0.1秒以下でWebページの表示を完了させなければならない。そのために各データストレージは1～5ms程度で応答しなければならない。 Twitterのリスト機能の実装でプロジェクトリーダーを務めたこともあるNick Kallen氏が来日し、2010年4月19日から2日間の予定で開催中の「QCon Tokyo 2010」で基調講演を行った。「Data Architecture
HeavyFeather 2010/04/20
twitter

architecture

infrastructure

web

performance

service
リンク
Twitterのクジラ解剖学、あるいは彼らがいかにサーバの処理能力を向上させたか
Twitterを利用していると、ときどきクジラの絵の画面が表示されることがあります。これはTwitterの処理能力がパンクして一時的に利用不可になったときに表示されるお馴染みの画面。 2月9日にTwitter Engineeringブログにポストされたエントリ「The Anatomy of a Whale」（クジラの解剖学）では、Twitterのエンジニアたちがこのクジラの内部に分け入ってどのようにTwitterサーバの処理能力を向上させたのか、という話が詳しく語られています。彼らが行ったのは、まず詳細なデータを取得して原因がどの辺にあるのかを推測すること。そこから多数の無駄な処理を発見し、ソースコードの修正による性能の向上に成功します。元記事は非常に長いエントリになっていますが、問題の調査から解決に至るアプローチについて多くのエンジニアの方の参考になりそうな内容が含まれていますし、T
HeavyFeather 2010/02/18
twitter

infrastructure

memcached

Performance

process
リンク
Twitterクラック事件の原因？:Geekなぺーじ
昨日のTwitterクラック事件はDNSに不正な値を設定されたことが原因でした。 Twitter公式ブログでも以下のようにDNSが原因であり、本体が乗っ取られたわけではないと記述されています。「Twitterブログ: 昨日のDNS障害についての追加情報」この攻撃の間、われわれはDNSプロバイダのDynectと直接連絡を取り続けました。そしてDNSをできるだけ素早くリセットするよう緊密に作業しました。これを見たときに「ああ、やっぱりDynectが原因だったか」と思いました。恐らくTwitterは自分でネットワークやサーバをほとんど運営しておらず、DNS部分はCDN事業者のDynIncのサービスを購入していると推測されます(参考：Twitterのネットワーク構成を調べてみた)。さらに、「CDN事業者のDynectにとってTwitterでの事件は経営に凄く大きな打撃を与えるのでは？」と
HeavyFeather 2009/12/23
twitter

internet

infrastructure

security

DNS

web
リンク
1