社内で論文輪読会みたいなことやってて、そこで紹介した論文の内容についてです。 最近、Graphite に保存しているデータのバックアップ（データ同期）に rsync 使ってて、かなり遅いので困ってた。 LISA っていう 大規模システム、sysadmin 系のカンファレンスがあって、ここから論文探してたら、ちょうど巨大データの高速バックアップの実装の話があったので読んでみた。 論文概要 dsync: Efficient Block-wise Synchronization of Multi-Gigabyte Binary Data - https://www.usenix.org/conference/lisa13/technical-sessions/presentation/knauth - Thomas Knauth and Christof Fetzer, Technische U
パソコンを買いました。 CPU：Intel Core i5-2400S Motherboard：ASUS P8H67-M EVO Memory：Patriot PSD38G1333KH 4GB×2 2個 SSD：Intel X25-M G2 120GB HDD：HGST Deskstar 5K3000 2TB Power Supply：Owltech Xseries SS-650KM 今回はOLIOSPECさんのMicro Monster H67 Super Silentをカスタマイズして注文しました。デスクトップ機をリプレイスするのは実に9年ぶりなのですが、最近のパソコンはすごく良いですね。速くて静かで低消費電力です。本日はこのパソコンを使って、近年のLinuxにおけるSSD事情を確認していきたいと思います。 TRIMとは 近頃では定番SSDの座をすっかりCrucial RealSSD
Scientific Linux is an Enterprise Linux rebuild sponsored by Fermi National Accelerator Laboratory. Scientific Linux reached end of life June 30, 2024. Please see the Fermilab/CERN recommendation for a Linux distribution. (Dec 7, 2022) For more information about Scientific Linux please review our About page. For information about how to get help or get involved see the Community page. For informat
橘べるちぇです。こんにちわ。 この度、DRBD8.3.10rc1が公開されていたので、ソースからコンパイルして使ってみようと思い立ち、そういえばDRBDのコンパイル方法とか記事が無いなぁ…と思ったのでここに公開することにいたしました。 みなさんも、最新のDRBDを使ってみましょう。 あ、ちなみに今回のこの記事ではRPMを作ります。なので開発環境用意してRPM作ってそれをもって別のシステムにインストールするなんていうような感じでやってみてください。 動作環境 もうお約束のCentOS5.5(final)の32bit版を使います。（仮想環境でやったので32bit版なの許してください。）DRBDのバージョンはLINBIT社から公開されている、8.3.10rc1を使います。 仮想環境は、VirtualBoxを使っています。構成としては開発環境1台、ミラーリング環境をインストールする2台の計3台にC
【お願い】私はLinuxカーネルもネットワーク周りも素人です。ここに書いてある事は間違えている可能性もあるのでおかしいなと思ったらすかさず突っ込んでください。宜しくお願い致します。 今回は、この記事の内容を全面的に見直して、再度Linuxのネットワークスタックのスケーラビリティについてまとめようと思います。 従来のLinuxネットワークスタック＋従来のシングルキューNIC 以下の図は従来のLinuxネットワークスタック＋従来のシングルキューNICで、あるプロセス宛のパケットを受信している時の処理の流れを表している。フォワーディングの場合やプロトコルスタック内の処理は割愛した。 プロセスがシステムコールを発行してからスリープするまで プロセスは、システムコールを通してカーネルにパケットを取りに行く。 パケットはソケット毎のバッファに貯まるようになっているが、バッファが空だったらプロセスはパケ
よく C10K 問題とかいって epoll(7) の話が出てきて select(2) 遅いね poll(2) 遅いねってなるんだけど、正直なところ、これらのシステムコールを実際に使ってコードを書いてみたひとはどのくらいいるのだろう。ましてや eventpoll が何やってるか知っている人はそんなに多くないんじゃないだろうか。もう O(n) だの O(1) だのって煙に巻かれるのもうんざりだ。 というわけで、2.6.26 の fs/eventpoll.c のコードを読んでみた。正直 Linux カーネルにすごく詳しいわけでもないので、誤りがあったら適宜突っ込んでもらえると幸いです。 前提知識として VFS モジュールがどうなってるかとかは LinuxのFSモジュールを書いてみる LinuxのFSモジュールを書いてみる (その2) のソース中のコメントを追ってもらえればと。 登場する構造体 e
本連載ではシステムコールプログラミングの例も掲載していく予定ですが、本記事ではLinuxに追加されたepollを採りあげ、インターネットサーバでのPthread利用と比較してみます。 はじめに マルチスレッドプログラミングが普及し、POSIX threadも制定され、Pthreadの利用は目新しいものではなくなりましたが、スレッドにまつわる迷信や誤った認識を、だいぶ減ったとはいえ、今でもたびたび耳にします。例として、 スレッドはプロセスよりも軽いので、多数作成しても軽快に動作する スレッドはプログラミングを簡単にしてくれ、1つの処理だけに集中できる などがあります。しかし、これらは常に真であるとは限りません。本記事ではマルチスレッドの概念や入門を繰り返すのではなく、その利用方法をHTTPサーバのサンプル実装を基に考察します。更にLinuxに追加された独自機能のepollインタフェースを用い
本番サーバで、運用当初から使っていた 1U サーバの 160GB のハードディスクの容量がアクセスログでいよいよいっぱいになってきた。アクセスログは、何かあったときのためにできる限りとっておきたいので、1TB のハードディスクに交換してみることにした。 LVM になっているので、普通に 1TB を 2 台目のハードディスクを追加して増設してもよかったけれど、2 台ハードディスクがあると故障率も 2 倍になるので、1 台目のハードディスクを交換してみることにした。 OS は、CentOS 5.5 x86_64 既存のハードディスクは、次のようなパーティンション構成になっている。 /boot ext3 100MB / LVM 残りすべて dd でコピーすればいいだと思っていたけれど、ちょっと調べてみるとより高速らしい dd_rescue を見つけたので、次のような手順でハードディスクを交換した
XenのDomain-Uのディスク拡張方法として、LVMで構築されたゲストの拡張方法はよく見かけますが、LVMを使用していないゲストのディスク拡張方法があまり見つからず、e2fsckでエラーが出まくり、ハマっていたのですが、以下のページで紹介されていた方法をそのままやったらできました。 http://www.jaddog.org/2009/08/12/expanding-a-xen-disk-images-space/ 環境は、Red Hat Enterprise Linux 5.4です。xenのバージョンは、xen-3.0.3-94.el5_4.3を使用しています。 xenのバージョンや依存したような作業ではないと思うので、他のディストリビューションでも試す価値はあると思います。 ポイントは、xm block-attachです。 ちなみに、Linuxのコマンドライン操作をはてなダイアリー
前回のGnukでGPG鍵を生成する際に、/dev/randomからエントロピーを取り出すのが遅い問題の対策を調べていたところ、TPM(Trusted Platform Module)を乱数生成器として使えることが分かったので試してみた。 TPMとは WikipediaのTrusted Platform Moduleより一部抜粋 概要 RSA暗号演算やSHA-1ハッシュ演算といった機能を有しており、チップ内で暗号化・復号、デジタル署名の生成・検証、プラットフォームの完全性検証を行うことができる。また、TPMの内部でRSAの鍵ペア(公開鍵と秘密鍵)を生成することができる。 TPMの仕様はTCG (= Trusted Computing Group)という国際的な業界団体で策定されており、最新のバージョンは1.2である。 ノートPCだけではなく、デスクトップPCにもTPMは搭載されている。Win
GUIDパーティションテーブルのレイアウト。各LBAは512バイト。 GUIDパーティションテーブル (英: GUID Partition Table, GPT) は、ハードディスクドライブ上のパーティションテーブルの配置に関する標準規格である。 これはインテルの提案しているEFI標準の一部であり、旧来のBIOSで使用されているマスターブートレコード (MBR) の置き換えを意図している。 従来のMBRパーティションが、テーブルのパラメータから、1セクタ512Byteで定義した場合、最大2TiB迄の領域までしか管理できないのに対し、GPTでは、最大8ZiB迄の領域を定義、管理できる。 2013年頃には、PC用として一般に市販のHDDの大容量化で、2T越えが始まっておりGPT導入は必至の課題であったが、マザーボード上のROM内などのシステムソフトウェアのEFI対応もだいたい進んできていたこと
This article presents best practices for Linux timekeeping. These recommendations include specifics on the particular kernel command line options to use for the Linux operating system of interest. There is also a description of the recommended settings and usage for NTP time sync, configuration of VMware Tools time synchronization, and Virtual Hardware Clock configuration, to achieve best timekeep
レッドハットは、2010年10月18日から東京ビッグサイトで開催の「ITpro EXPO 2010」展示会場で、Linuxカーネルの仮想化機能「KVM」（Kernel-based Virtual Machine）上で200のゲストOSを稼働させるデモを実施中である（写真）。 OSには、ホスト/ゲストともに同社が販売する「Red Hat Linux Enterprise 5.5」を使用。OSには特別なカスタマイズや、特殊なチューニングは施していない。ハードウエアにはデルの2Uサーバー「PowerEdge R815」（プロセッサがAMD Opteron 6174×8基の計48コア、メモリーが256Gバイト）を使用している。 各ゲストOSには4Gバイトのメモリーを割り当てており、仮想的な総使用メモリーは800Gバイト。しかし、内容が同一のメモリーページを集約するLinuxカーネルの「KSM」（K
この記事の続きになる訳だが、いくらSolaris最強って言っても、大手メーカーがこぞってつつき回して性能改善したり機能追加したりしてるはずのLinuxで何も対策が打たれてない訳が無いよね。じゃあどうなってるんだろう、って話。 例によって、Linuxとか全ッ然知らないので、間違ってたらツッコミ下さい。 ポーリングとパケット処理のパス 殆どここで解説し尽くされてる。 Linuxにも動的ポーリングの実装（Solarisで言ってる動的ポーリングと同じものとは限らないが…）があって、NAPIとか呼ばれてるらしい。 NAPIを実装するドライバでは、こんな手順で受信処理を行ってる。 ハードウェア割り込みを受け、割り込みハンドラを起動 ハードウェア割り込みを禁止、ポーリングをスケジュール ソフトウェア割り込み経由でNAPIのポーリングルーチンを起動 ドライバにポーリングを指示 この時、適切な性能を確保する
# cat /proc/net/pktgen/kpktgend_0 Name: kpktgend_0 max_before_softirq: 10000 Running: Stopped: eth1 Result: OK: max_before_softirq=10000 Most important the devices assigned to thread. Note! A device can only belong to one thread. Param section holds configured info. Current hold running stats. Result is printed after run or after interruption. Example: # cat /proc/net/pktgen/eth1 Params: count 100
第2回 LinuxカーネルとRuby、異なるコミュニティにコミットして見えたもの 星暁雄（ITジャーナリスト） 2010/9/28 小崎資広氏は、Linuxカーネルの開発コミュニティと、Ruby開発者コミュニティにコミットしている。Linuxカーネルコミュニティは開発者中心でディベートが多く、Rubyコミュニティは紳士的？ OSと言語、異なるコミュニティに参加したエンジニアが、運営方法やコミュニティ文化の違いについて語る。 第1回｜1 2｜次のページ 連載「Linux Karnel Watch」の筆者である小崎資広（こさきもとひろ）氏は、Linuxカーネルの開発コミュニティとRuby開発者コミュニティの両方でコミッタとして活動している開発者である。オープンソース・ソフトウェア（OSS）のコミュニティは、どのように運営されているのか。そしてLinuxとRubyという成功した2つのコミュニティ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
