Open VZ

～ High-Performance Virtualization ～ www.shanon.co.jp id: ふじゃ fujya

自己紹介 id:fujya (twitter/hatena/mixi/gree で使えます ) 　 [email_address] Shanon という会社で働いてますインフラエンジニア暦３年 linux/centos/monit/syslog-ng/cacti/apache/qmail/postfix/postgres/perl/bash/openvz glusterfs/drbd/heartbeat/samba/nfs/pxe/kick-start/windows(?)/network/server/HW and more…

略歴１９８４年：新潟県新発田市というところで生まれる　　　幼 / 小 / 中と健やかに成長２０００年：高校入学。コンピュータに興味を持つ２００ 3 年：千葉の大学に入学。コンピュータの講義をたくさん受け、この頃からインフラへの興味が高まる２００ 7 年：ギリギリ卒業。株式会社シャノン入社後インフラエンジニアとして働き始める２００９年：８月に結婚しました

目次 OpenVZ 概要他仮想化との違い運用中に出くわしたトラブル集 Twitter で集めてた質疑に応答まとめ

OpenVZ とは Linux カーネルをベースに開発された OS レベルの仮想化ソフト GPL v2 商用版として Parallels 社 ( 旧 SWsoft) の「 Virtuozzo 」がある多くのホスティング業者が VPS サービスを提供している

OS レベルの仮想化ってなんぞ？カーネルは１つ。その上に複数 OS を稼動させる他仮想化よりも軽量仮想レイヤのオーバヘッドが少ない OpenVZ の場合、仮想化できるのは Linux のみ SUSE/CentOS/Fedora/debian etc...

結論から言うと OpenVZ はカーネルは一つだから早い！たくさん立てれる！でも自由度が低い

OpenVZ の特徴稼動中のコンテナに対してのリソース管理が可能 CPU メモリ Disk 仮想化による CPU のコストは 1-2% と低い各コンテナ毎にファイルシステム , プロセス , ネットワークが独立しているデバイスファイルへはアクセス制限されている Fair CPU scheduler Fair I/O scheduler live migration 機能 migration!

Fujya が OpenVZ を選んだ理由抱えていた課題１：電源容量の削減をしたい２：今動いてる弱小サーバをパワーアップしたい３：サーバ単位でバージョン管理したい４：気軽に開発環境 / 本番環境を増やしたい

とある４ GB つんだ OpenVZ サーバのコンテナ数 [root@st-virtual ~]# vzlist CTID NPROC STATUS IP_ADDR HOSTNAME 1212 25 running 192.168.1.10 1212.CT 1214 10 running 192.168.1.41 1214.CT 1220 33 running 192.168.1.3 1220.CT 1231 19 running 192.168.1.4 1231.CT 1232 27 running 192.168.1.9 1232.CT 1233 12 running 192.168.1.20 1233.CT 2001 19 running 192.168.1.25 2001.CT 2020 21 running 192.168.1.51 2020.CT 2021 22 running 192.168.1.52 2021.CT 5050 36 running 192.168.1.200 5050.CT 5051 36 running 192.168.1.197 5051.CT 6001 28 running - 6001.CT 6002 7 running 192.168.1.29 6002.CT 6003 17 running 192.168.1.30 6003.CT 7001 21 running 192.168.1.34 7001.CT 8001 29 running 192.168.1.36 8001.CT 8002 29 running 192.168.1.37 8002.CT 9001 18 running 192.168.1.50 9001.CT [root@st-virtual ~]# vzlist | grep –v VEID | wc -l 18 18台が同時稼動

他仮想化との違い　メリット / デメリット

OpenVZ とハイパーバイザの違い Dom0 256/512MB 256/512MB 128/512MB 384/512MB 物理メモリ合計２ GB 使用量残量 DomU 01 DomU 03 DomU 02 仮想マシンでメモリを占有。ホントは1GBあまってるのに・・・

OpenVZ とハイパーバイザの違いホスト 1024(256+256+128+384)/2048MB 256/2048MB 128/2048MB 384/2048MB 物理メモリ合計２ GB 使用量残量 CTID 101 CTID103 CTID 102 残り使えるメモリは１GB！

クイックインストールガイド Linux インストール OpenVZ リポジトリの設定 OpenVZ カーネルのインストールカーネルパラメータを OpenVZ 用に数行修正ユーティリティパッケージのインストールブートローダーの設定 -> 再起動 # cd /etc/yum.repos.d # wget http://download.openvz.org/openvz.repo # rpm --import http://download.openvz.org/RPM-GPG-Key-OpenVZ # cd /etc/yum.repos.d # yum install openvz-kernel

コンテナの立ち上げテンプレートを作成 or Download テンプレートを指定してサーバの立ち上げ # vzctl create 1003 –ostemplate centos-4-i386-default –config sample --hostname example.com http:// wiki.openvz.org /Download/template/metadata

コンテナの設定 vzctl コマンドを用いて各リソースを設定 CPU メモリ Disk ネットワーク Hostname Nameserver users password etc… # vzctl set 1003 –cpulimit 1000 –privvmpages $((256*128)) –diskspace 1G --hotname hbstudy4.test. –ipadd 192.168.100.100 –nameserver 10.8.15.1 --userpasswd root:hbstudy4 --save

コンテナの起動と停止とか vzctl コマンド…起動！停止削除 # vzctl start 1001 # vzctl stop 1001 # vzctl destroy 1001

各種 VZ コマンド vzcalc – コンテナのリソース利用状況を出力 vzcfgvalidate – コンテナの設定ファイルのチェック vzcpucheck – マシンの cpu パワーを数値化 vzlist – コンテナリストを出力 vzmemcheck – コンテナのメモリ設定を一覧で出力 vzmigtate – live migration を実行 vzpid – 実際の PID をコンテナの PID に変換して出力 vzsplit – サンプルコンテナ設定ファイルを作成 vzdump – コンテナのバックアップを実施 vzyum – ホストサーバからコンテナに yum コマンドを実行　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　他にもたくさん

運用中に出くわしたトラブル集　　　　　　　　　　　　　だワン

第一話　 memcahed が使えない！！！？？ Cache 死亡フラグ

Memcached が使えない！！！？？　　　　序章待望の OpenVZ 本番導入の日特に問題なくリリース作業は進んでいく最終確認作業に入り間もなく問題なくリリース完了・・・・　　　　　　　　　　　　　と、誰しも思っていたその時！？

Memcached が使えない！！！？？　　序章「なんか画像が出たり出なかったりするんすけど？」・・・・・「ぇ ? 」

Memcached が使えない！！！？？　調査 Memcached サーバの立ち上げ忘れかもしれない・・・忘れてない。クライアントとサーバの memcached バージョン変えたから？旧バージョンに戻しても現象は再発あれ？サーバの設定を１台にしたら動く　　　とりあえずオープンまで時間が無い。　　　　サーバ１台構成で OPEN

Memcached が使えない！！！？？　　解答編 Memcached- client Memcached-server eth0 eth0 OpenVZ リリース前の構成物理サーバ A 物理サーバ B 0.006 秒

Memcached が使えない！！！？？　　解答編 eth0 eth0 vent0 vent0 Memcached- client Memcached-server Vent0:0 Vent0:0 OpenVZ リリース後の構成 A 　ホスト B 　ホストコンテナ 102 コンテナ 101 0.3 秒

Memcached が使えない！！！？？　　解答編 arp broadcast forward 0.3sec Memcached client default timeout 0.25sec eth0 eth0 vent0 vent0 Memcached- client Memcached-server Vent0:0 Vent0:0 A 　ホスト B 　ホストコンテナ 101 コンテナ 102 arp broadcast forward

Memcached が使えない！！！？？　　解決編解決方法： venet0 による arp brouadcast forward 　 × br0 によるフレーム転送　　　　　　　　　　○ eth0 eth0 br0 br0 Memcached- client Memcached-server eth0 eth0 A 　ホスト B 　ホストコンテナ 101 コンテナ 102 0.006 秒

第二話　　　　　　　　　　　　　　　　　　　届かない e-mail

届かない e-mail 　　　はじめ memcached の問題も解決し、ＯｐｅｎＶＺの運用が順調に進んでいる・・・　　がある日の事

届かない e-mail 　　　苦情編「メール遅れない時あるんだけど・・・？何これ？」ごめん、知らない。

届かない e-mail 　　　危機編確認できた現象と再現環境 [user@CTID1001]$ free -m 合計使用済空き領域共有領域バッファキャッシュ Mem: 4047 3530 517 0 0 0 -/+ バッファ : 3530 517 Swap: 0 0 0 privvmpages 1572864(6GB) 物理メモリ :4GB Swap :2GB [user@CTID1001]$ ps auxww USER PID %CPU %MEM VSZ RSS TTY STAT START TIME COMMAND root 1 0.0 0.0 1700 524 ? Ss Jul30 0:01 init [3] … .. user 32390 0.0 74.1 3572043 3072000 ? S Sep04 0:00 perl-fcgi

届かない e-mail 　　　危機編確認できた現象と再現環境 [user@CTID1001]$ free -m 合計使用済空き領域共有領域バッファキャッシュ Mem: 4047 3530 517 0 0 0 -/+ バッファ : 3530 517 Swap: 0 0 0 privvmpages 1572864(6GB) 物理メモリ :4GB Swap :2GB [user@CTID1001]$ ps auxww USER PID %CPU %MEM VSZ RSS TTY STAT START TIME COMMAND root 1 0.0 0.0 1700 524 ? Ss Jul30 0:01 init [3] … .. user 32390 0.0 74.1 3572043 3072000 ? S Sep04 0:00 perl-fcgi user 32391 0.0 0.1 1203 756 ? S Sep04 0:00 ＼ _ - qmail-inject cannot allocate memory

届かない e-mail 　　　危機編 Linux はプロセスを fork するときは「 Copy on Write 」方式を採用 Copy On Warite １． perl-fcgi が fork ２．仮想アドレス空間を copy （ qmail-inject にはリードオンリーで提供）３． qmail-inject が MMU に write 要求４．カーネルは新しい物理メモリを確保し割り当てる Privvmpages は利用メモリ量だけでなく仮想アドレス空間の確保も実施２番で仮想アドレス空間が枯渇

届かない e-mail 　　　解決？ privvmpages 6GB メモリを割り振っていた ↓ 33554432 GB 割り振る再現しなくなった！問題解決！！ (vmguarpages でメモリ確保量を保証することが出来る )

NFS トラブル　　　　　　序章社内のファイルサーバを OpenVZ 化する計画が発足新ファイルサーバを構築して、最後をして移行 rsync する計画おおむね構築は完了。各種サービスの確認開始 P2V 現行ファイルサーバ新ファイルサーバ（ OpenVZ ）

NFS トラブル　　　　　　序章 NFS サーバスタート # /etc/rc.d/init.d/nfs start NFS サービスを起動中　 [OK] NFS クォータを起動中　 [OK] NFS デーモンを起動中　 [NG] NFS mount を起動中　 [OK] なんか失敗したんですが

NFS トラブル　　　　　　調査編 google 先生教えてくださいカーネルの再構築が必要だよ by

NFS トラブル　　　　　　問合編カーネル再構築なんて面倒他に良い手が無いの？ Google 先生 NFSD がダメなら UNFS 使えば良いじゃない？ by

NFS トラブル　　　　　　 what UNFS? UNFS とはユーザスペースで動く NFS （通常はカーネルサポート） NFSv3 の仕様に沿って実装パフォーマンスは通常よりも少し遅い。でも気にならないほど Linux/Soralis でも動くことが確認されている Connectathon の NFS test suite の基本的で一般的なテストに合格 http:// www.connectathon.org/nfstests.html

NFS トラブル　　　　　　 UNFS で解決実際にコンテナに UNFS をインストール Read/Write はもちろん問題なく可能 Bonnie++ のパフォーマンステストも正常に終了 I/O の速度も 100Mbps 環境で 80 ～ 90Mbps は出ることを確認 UNFS で問題回避

Twitter で集めてた質疑に応答質疑を見落としてました。。。

OpenVZ 応用編 No downTime backup P2V(Physical to Virtual) Excellent Redundancy system (DRBD + HeartBeat + OpenVZ) Live migration

No downTime backup LVM2 の機能を利用したスナップショットバックアップ OpenVZ 　サーバ CTID101 (Running) /vz (LVM2) [root@openvz]# vzdump --dumpdir /vz/backup --snapshot 1001 CTID 1001 snapshot backup image

P2V(Physical to Virtual) [root@physical]# cat << EOL > /tmp/excludes.excl .bash_history /dev/* /mnt/* /tmp/* /proc/* /sys/* /usr/src/* EOL [root@physical]# tar cjpf /tmp/mysystem.tar.bz2 / -X /tmp/excludes.excl [root@physical]# scp /tmp/mysystem.tar.bz2 user@openvz:/tmp 1.Physical image の作成

P2V(Physical to Virtual) [root@openvz]# mkdir /vz/root/1001 /vz/private/1001 [root@openvz]# cat /etc/vz/conf/ve-vps.basic.conf-sample > /etc/vz/conf/1001.conf [root@openvz]# vzctl set 1001 ipadd x.x.x.x --save [root@openvz]# mv /tmp/mysystem.tar.bz2 /vz/private/1001 [root@openvz]# tar xjpf /vz/private/1001/mysystem.tar.bz2 [root@openvz]# sed -i -e '/getty/d' /vz/private/1001/etc/inittab [root@openvz]# rm -f /vz/private/1001/etc/mtab [root@openvz]# ln -s /proc/mounts /vz/private/1001/etc/mtab [root@openvz]# cp /vz/private/1001/etc/fstab /vz/private/1001/etc/fstab.old [root@openvz]# grep devpts /vz/private/1001/etc/fstab.old > /vz/private/1001/etc/fstab [root@openvz]# mknod --mode 666 /vz/private/1001/dev/ptmx c 5 2 [root@openvz]# mkdir /vz/private/1001/dev/pts [root@openvz]# cp -a /dev/ttyp* /dev/ptyp* /vz/private/1001/dev/ [root@openvz]# /sbin/MAKEDEV -d /vz/private/1001/dev ttyp ptyp [root@openvz]# rm -f /vz/private/1001/dev/null [root@openvz]# mknod --mode 666 /vz/private/1001/dev/null c 1 3 [root@openvz]# mknod --mode 444 /vz/private/1001/dev/urandom c 1 9 [root@openvz]# mkdir /vz/private/1001/proc 2.Openvz server settings

P2V(Physical to Virtual) [root@openvz]# vzctl start 1001 3. Container start P2V 完了！！

Excellent Redundancy system DRBD で /vz を sync OpenVZ 　サーバ（ A) OpenVZ 　サーバ（ B) /vz /vz CTID101 (Running) CTID101 (stopped) HB で相互監視

Excellent Redundancy system DRBD で /vz を sync OpenVZ 　サーバ（ A) OpenVZ 　サーバ（ B) /vz /vz CTID101 (death) CTID101 (stopped) Down!! HB で相互監視

Excellent Redundancy system OpenVZ 　サーバ（ A) OpenVZ 　サーバ（ B) /vz /vz CTID101 (death) CTID101 (Running) Down!! HB で相互監視サーバ（ A ）の Down を確認後サーバ（ B) の CTID1001 を起動

Demo する予定でした。。。 Live migration

Live migration OpenVZ 　サーバ（ A) OpenVZ 　サーバ（ B) /vz /vz CTID101 (Running) メモリーダンプファイルシステムを移動

Demo しますね Live migration OpenVZ 　サーバ（ A) OpenVZ 　サーバ（ B) /vz /vz CTID101 (Running) メモリーダンプを復元リソースの配分し稼動

まとめ High Performance 同時にたくさんコンテナを稼動させられる柔軟なリソース管理 Checkpointing and live migration support

ご清聴ありがとうございました

Open VZ

Related slideshows

More Related Content

Open VZ

Editor's Notes