タグ

scalabilityに関するJxckのブックマーク (24)

  • Hadoopは仮想化の流れに逆行するのか?

    御徒町@MultiVersionConcurrentClimber(MVCC) @okachimachiorz1 Hadoopのような分散環境が普通に出てくると、実は逆に仮想化の取り扱いが困ってくるという問題が発生する(というかしてる)。分散ではハードの代替性が高いので、対障害性という意味での仮想化は利用箇所が局所的になる。全面仮想化マンセーはちょっと困ったことになる。 御徒町@MultiVersionConcurrentClimber(MVCC) @okachimachiorz1 特に運用側面から見ると、仮想化の位置づけはきわめて有効な部分と、そうでない部分があるのは意識したほうがいいと思う。仮想化の前提がLAMPSであるなら、なおさら分散クラウドでの位置づけは再考した方が良いと思う。前提が違う時は、手当が必要になることが多い。なんとなくそう思う。 御徒町@MultiVersionCon

    Hadoopは仮想化の流れに逆行するのか?
  • Webアプリケーションにおける Job Queue システムの構成例と Worker を作る際に気をつけること - blog.nomadscafe.jp

    Webアプリケーション内で処理を直列に実行せずにJob Queueに回して非同期に実行することが多くなって来て久しいと思いますが、そのおすすめ構成と気をつけることについてつらつらと。 1) 既存のデータベースをキューとして使う構成例 1つ目はMySQLなどのデータベースをキューとして用いる例。既にアプリケーションで利用しているデータベースにキュー用のテーブルを作成して利用します。データベースを利用したキュー管理の仕組みとしてJonk、Qudo、TheSchwartzなどがPerlでは有名どころです。 依存するミドルウェアが増えないので最もシンプルな構成になると思います。 上記の図ではWorkerはアプリケーション内で実行することで冗長性を確保しますが、キューを格納するデータベースはSPOFになります。しかし、、データベースに障害があった場合キューだけでなくすべてのサービスが停止すると思われ

  • Non blocking and asynchronous

    14. C10K problemサーバ1台に対して、クライアントが1万台繋がったらどうなる?と言う問題The C10Kproblem解決方法(The C10K problemの中で記述されています)各スレッドが複数のクライアントを受け付けるノンブロッキングI/Oとレベルトリガ型通知※1を利用する各スレッドが複数のクライアントを受け付けるノンブロッキングI/Oとエッジトリガ型通知※1を利用する各スレッドが複数のクライアントを受け付けるAIOを利用する各スレッドが1つのクライアントを受け付けるブロッキングI/Oを利用するサーバコードをカーネルに組み込む※1:http://d.hatena.ne.jp/kazuhooku/20080707/1215385159Node.js 入門 page.15 15. WebSocket Server実装Apache - pywebsocket解決方法4番各ス

    Non blocking and asynchronous
  • Architecture by Accident

    This document discusses how architecture emerges even when not initially planned. It begins with an overview of databases, message queues, and caching as common architectural elements that emerge over time. The document then provides examples of how simple applications and data needs can evolve into more complex architectures with multiple servers, databases, caching, and services. It emphasizes t

    Architecture by Accident
    Jxck
    Jxck 2011/05/10
    it goes on like this