今北産業 Memcachedではexpiration timeに絶対指定と相対指定をすることができる expiration timeに30日を超える秒数を指定すると絶対指定(epoch)として扱われる つまりexpiration timeに30日を超える秒数を相対指定のつもりで指定した場合、絶対指定として処理されて大抵の場合は死に至る Memcachedのexpiration Memcachedのexpirationには無効値とするまでの相対的な時間を秒数で指定する方法が一般的だ。 だが、実はMemcachedはepochによる絶対指定によるexpirationもサポートしている。 https://github.com/memcached/memcached/wiki/Commands#standard-protocol ドキュメントを引用: An expiration time, in
概要 Memcacheのstatsコマンドでどんな情報を表示できるのか、というメモ。 構成 CentOS release 5.5 (Final) memcached version 1.4.5 statsコマンドで表示できる情報 項目名 説明 例 pid プロセスID 18622 uptime memcachedの稼働時間（秒） 10699178 time 現在時刻のタイムスタンプ（unixtime） 1324433164 version memcachedのバージョン version 1.4.5 pointer_size ホストOSのポインタサイズ（32bit or 64bit） 64 rusage_user プロセスがユーザモードで動作した累積時間（秒.マイクロ秒） 1463.871486 rusage_system プロセスがカーネルモードで動作した累積時間（秒.マイクロ秒） 413
実戦で使ってるmemcachedがいっぱいになってきてるっぽいので勉強中 自分の理解を整理する。 memcached-toolでstatsを見る。 1MB_pagesはその1MB単位がいくつあるか [homepage@www scripts]$ ./memcached-tool *.*.*.*:11211 # Item_Size Max_age 1MB_pages Count Full? 2 136 B 443801 s 22 169620 yes 3 176 B 550195 s 22 131053 yes 4 224 B 538853 s 10 46810 yes 5 280 B 580837 s 23 86112 yes 6 352 B 725477 s 24 71471 yes 7 440 B 816043 s 14 33362 yes 8 552 B 650550 s 10 18
LRUにも色々あるよねーって話。ちなみにmemcachedとRedisのどっちがいいか的な話ではない。 memcachedのLRU memcachedは起動時のオプション-mで最大何バイトまでmemcachedにメモリを食わせるかを指定することが出来て、この値を超えてmemcachedにデータをぶっ込もうとするとデータの追い出し(eviction)が発生します。どのデータが追い出されるかはいわゆるLRU(Least Recently Used)で、つまり最近使われていないデータが追い出されます。なので、「memcachedはLRUだよ」と言われると「ふーん」と分かったような気分になりますが、実はmemcachedのLRUはデータ全体におけるLRUではなくslab classごとのLRUなので、この辺を勘違いしていると痛い目に合います。 slab allocatorそのものについてはここでは
memcachedのインストール＆設定
■memcachedとは？ memcachedを知り尽くすから抜粋 http://gihyo.jp/dev/feature/01/memcached/0001 memcachedは，LiveJournalを運営していたDanga Interactive社で，Brad Fitzpatrick氏が中心となって開発されたソフトウェアです。 現在ではmixiやはてな，Facebook，Vox，LiveJournalなど，さまざまなサービスでWebアプリケーションのスケーラビリティを向上させる重要な要素になっています。 多くのWebアプリケーションは，RDBMSにデータを格納し，アプリケーションサーバでそのデータを引き出してブラウザ等に表示させています。 しかしデータが大量になったり，アクセスが集中すると，RDBMSの負荷があがり，データベースのレスポンスが悪化し，Webサイトの表示が遅延するなど大
ここを書き直して転載 memcachedに関する記事は「第1回 memcachedの基本：memcachedを知り尽くす｜gihyo.jp … 技術評論社」など何回か書いていますが、最近のmemcachedでの起動オプションのおすすめをまとめてみようと思います。なおこの記事はMemcached Advent Calendarではありません。 まとめるとこんな感じです。 $ memcached -v -p 11211 -U 0 -u memcached -m 1024 \ -c 100000 -t 4 -C -B ascii ひとつずつ簡単に紹介します。 -v ログ出力 ログを verbose モードで起動します。エラーや警告が表示されます。弊社ではmemachedをdaemontools経由で起動し、ログを記録しています。 -v -vオプションは -vv、-vvv と v の数を増やす事で
だいぶ前に memcached の SASL認証に不備があるのを見つけていてパッチを送っていたのでしたが、ようやくマージされて 1.4.17 のリリースに入っていたのに気がつきました Memcached 1.4.17のリリースノート GitHubでのコミット確認 JVNDB-2013-005840 認証をバイパスされる脆弱性なのですが、SASL認証を使ってない運用であればそもそも問題が無いので大半のユーザには影響がでないものと思われます。 脆弱性自体は mizzy さんが業務中に見つけたもので、パッチ作成は私が行い(これも業務中に)、その後のレビューと投稿までをヘルプしていただきました。コアとなる構造体にフィールドを足す変更も入ったので、びみょーかなーと思っていたのですが、無事マージされてよかったです。 Couchbase Server にも memcached ストレージがありSASL認
Cache::Memcached(::Fast) のオプションには namespace というのがあります。 https://metacpan.org/module/Cache::Memcached::Fast https://metacpan.org/module/Cache::Memcached Cache::Memcached、Cache::Memcached::Fast、どちらもnamespaceはインスタンス作成時に指定して、あとから変更することは出来ません。 my $s = Cache::Memcached::Fast->new({ servers => [qw/127.0.0.1:11211/], namespace => 'myservice' }); namespaceを使うと、ひとつのmemcachedサーバを複数のアプリケーションから使用する場合などに、それぞれ別のネ
11/3に開催された #isucon2 に、隣の席の @pandax381 と一緒に、チーム双龍として参加してきました。 結果は惨敗だったのですが、そのレポートを書く前に、 #isucon2 で使う予定だった秘密兵器 recaro について紹介します。 recaro とは recaro はカーネル空間で動く httpd + memcached サーバーです。 httpd サーバーは @pandax381 が作成した tkhttpd で、 memcached は kmemcached というプロジェクトが 未完成のまま放置されていたのを見つけて、私がデバッグ＆高性能化したものです。 (KLab/kmemcached) 通常のnginx+memcachedだと ネットワーク <- TCP/IP ]-> nginx <-[ TCP/IP ]-> Memcached ([] はシステムコール) と
couchbase-python-clientはCouchbase社が開発しているCouchbaseのクライアント・ライブラリ。「Couchbaseとは何ぞ？」という方は、CouchDBのストレージをMemcache/Membaseに置き換えたKVSだと考えて頂きたい。https://github.com/couchbase/couchbase-python-clientPythonのMemcacheクライアントたちPythonのMemcacheクライアントだと、Pure Pythonなライブラリであるpython-memcachedと、libmemcachedバインディングのpylibmcが標準的なライブラリだと思う。http://pypi.python.org/pypi/python-memcached/http://pypi.python.org/pypi/pylibmc/が、両方と
YAPCでmalaさんの話を聞いていて、memcachedのようにお手軽に使えるbloom filterがあるとひょっとすると便利かもしれない、とふと思ったのでAnyEventつかって、Bloom::Fasterのwrapperを書いてみました。 https://github.com/walf443/p5-bloomd-server 以下のようなプログラムを書いてサーバーを起動します use strict; use warnings; use EV; use AnyEvent; use Bloomd::Server my $cv = AnyEvent->condvar; my $server = Bloomd::Server->new( capacity => 100_000_000, backupdir => '.', ulog => 'ulog', ); $server->run $c
memcached-keysはmemcachedのキー、データサイズ、有効期限を一覧表示するソフトウェア。 memcached-keysはPerl製のオープンソース・ソフトウェア。Webサービスを高速化する上で欠かせないのがキャッシュだろう。そのキャッシュシステムとして有名なのがmemcachedだ。オンメモリに保存するので高速、KVSなのでシンプルに利用できるのが利点だ。 実行結果 memcachedを使っていて気になるのが、ちゃんとキャッシュで来ているのか否か、キャッシュがどれくらいあるのかといった情報ではないだろうか。その問題を解決してくれるソフトウェアがmemcached-keysだ。 memcached-keysはPerl製のシンプルなソフトウェアで、そのまま実行するだけでローカル（デフォルト。変更可能）のmemcachedにあるキャッシュを一覧表示してくれる。キャッシュ名、有効
Compare-And-Set in Memcache
With the most recent release (1.5.3, last week) App Engine's Python API for Memcache has added a new feature, Compare-And-Set. This feature (with a different API) was already available in Java; it has also been available in the non-App-Engine pure-Python memcache client. In fact, I designed the App Engine Python API for this feature to be compatible with the latter, since most of the rest of the A
クライアントからmemcachedを利用する際の、ベストプラクティスは以前書いているので、その前段階でmemcachedを含めたWebアプリケーションのアーキテクチャ(と一部クライアントの話)について今の個人的な考えをまとめてみます。Kyoto Tycoonを使ったキャッシュサーバでも基本は同じだと思います 1) 使わない memcachedをアプリケーションに組み込むことで、プログラムがどうしても複雑になりがちです。データの削除や更新の際にキャッシュの更新を忘れると多くの問題が発生します。例えばユーザがニックネームやプロフィール写真を更新したのに画面上変わらないなどの現象が起こると、ユーザに対して不快な思いをさせてしまうでしょう。またデータベースが非同期のレプリケーションを行っている場合、masterに対してデータの変更をかけ、更新が反映される前にslaveから読み込んでしまい、キャッシ
クラウドのように大規模なシステムでは、ソフトウェアの開発と同等以上に、大規模運用の巧拙が、システム全体の成功を大きく左右します。 6月22日から、米サンタクララで行われていたWebサイトのパフォーマンスと運用に関するオライリーのイベント「Velocity 2010」で、FacebookのTechnical Operations teamを担当するTom Cook氏が「A Day in the Life of Facebook Operations」（Facebook運用のある1日）と題したセッションで、Facebookがふだんどのような運用を行っているか、紹介しています。 世界でトップクラスの大規模サイトが、普段どのようなツールを用い、どのような方法で運用しているのか、セッションの内容を紹介しましょう。 6年で4億アクティブユーザー、3カ所のデータセンター Tom Cook氏。Facebo
こんにちは。システム本部技術部たんぽぽGの森本です 補足を追記しました (2010/08/20 15時) 先日のmixi大規模障害についての続報です 今回は小ネタはありません はじめに まず初めにtwitter/blogなどを通じて今回の問題の解析を行っていただいたみなさんに感謝の言葉を捧げたいと思います kzk_moverさん stanakaさん mala(bulkneets)さん llameradaさん (順不同) ありがとうございました 書き漏らした人ごめんなさい memcachedはすごい 今回の件でmemcachedに対して不安感を持たれた方もおられるとお聞きしました 説明不足だったせいで誤解を与えてしまい申し訳ありません きちんと設定および監視を行っていれば通常の使用にはまったく問題はありません 弊社にて -c 30万で起動したmemcachedに対して、先のテストスクリプトに
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
