GMOメディア エンジニアブログ

.

メリークリスマス！技術推進室の宇津井です。

世のサーバーがどんどんクラウドシフトしている中で私自身も物理サーバーを弄る機会が激減してきてます。そんな中でも一部のシーンでは高性能な物理サーバーの力に頼りたい場面があります。（えっ、c3.*とかi2.*を使えばいいじゃないですって！？）

弊社でも一部のWeb/Application/DBサーバー等で物理サーバーが現役でバリバリ働いてくれてます。今回はそんな一部の物理サーバーをc3.*とかi2.*とかに勝るとも劣らない最新サーバーに置き換えたときのお話です。なんと、とある落とし穴に嵌ってしまい、折角の物理サーバーの性能を活かしきれていなかったのです。クリスマスプレゼントじゃなかったとしても、もし物理サーバー貰えたらきちんとその性能を使い切ろうじゃないですか。

で、弊社が見落としていたのはcpuの省電力設定です。その中でもcpuガバナーの設定です。数年前から他のブログでもチョロチョロ話題に上がっていますので詳しくは他のブログを見た方が良いかもしれません。若しくはRed Hatさんの電力管理ガイドなんかを参考にすると良いと思います。

さて、今回の物理サーバーはapacheとphpが稼働しているWeb/Applicationサーバーです。扱っているリクエストの全てが動的リクエストで、ピーク時に100〜150Req/Sec程度捌いていました。ある日からリプレース前の処理能力よりも全然捌いてないのにcpuが頭打ちになってしまいました。

色々悩んでるとcpuの動的クロック変更が効いていて、cpu使用率が95%にならないと本気出さない設定になっていたんですね。これどうやったら調べられるか(設定も出来ます)と言うと「cpufrequtils」でできます。

以下全てCentOS6系での例です。

まずは「cpufrequtils」のinstall(そもそもインストールしてなかったです)

# yum install cpufrequtils

cpuガバナー設定前(ondemand)の状態確認

$ cpufreq-info -c 0
analyzing CPU 0:
  driver: pcc-cpufreq
  CPUs which run at the same hardware frequency: 1
  CPUs which need to have their frequency coordinated by software: 1
  maximum transition latency: 4294.55 ms.
  hardware limits: 1.20 GHz - 1.80 GHz
  available cpufreq governors: ondemand, userspace, performance
  current policy: frequency should be within 1.20 GHz and 1.80 GHz.
                  The governor "ondemand" may decide which speed to use
                  within this range.
  current CPU frequency is 1.80 GHz.

$ cat /proc/cpuinfo | grep "cpu MHz" | head -n 4
cpu MHz		: 1200.000
cpu MHz		: 1404.284
cpu MHz		: 1330.434
cpu MHz		: 1200.000

cpuガバナーがondemandの時は、以下のファイルを調べる事で、cpuが何%になったら本気出すのかという閾値を確認出来ます。デフォルトは95です。つまり95%にならないと本気出さないようになってたのです。サーバー運用してて95%になる事ってそんなにないですよね？

$ cat /sys/devices/system/cpu/cpu0/cpufreq/ondemand/up_threshold
95

というわけでこのサーバーには24時間365日精一杯頑張って頂きたいのでcpuガバナーを思い切ってperformanceに設定しました。

cpuガバナー設定(performance,32論理コアの場合)

# for i in {0..31} ; do cpufreq-set -c ${i} -g performance ; done

cpuガバナー設定後(performance)の状態確認

$ cpufreq-info -c 0
analyzing CPU 0:
  driver: pcc-cpufreq
  CPUs which run at the same hardware frequency: 0
  CPUs which need to have their frequency coordinated by software: 0
  maximum transition latency: 4294.55 ms.
  hardware limits: 1.20 GHz - 1.80 GHz
  available cpufreq governors: ondemand, userspace, performance
  current policy: frequency should be within 1.20 GHz and 1.80 GHz.
                  The governor "performance" may decide which speed to use
                  within this range.
  current CPU frequency is 2.02 GHz (asserted by call to hardware).

$ cat /proc/cpuinfo | grep "cpu MHz" | head -n 4
cpu MHz		: 1800.000
cpu MHz		: 1800.000
cpu MHz		: 1800.000
cpu MHz		: 1800.000

ガバナー設定をperformanceに変更してtopコマンドを確認すると以下のような変化が起きました。

上の画像がガバナー設定を変更してないもの(ondemand)です。そして、下の画像がガバナー設定をperformanceにしたものです。

下の方がLoadAverageも下がってcpuパワーを使い切っているように見えますね！実際にサーバーの処理能力も上がっていまして、平均レスポンスタイムもピーク時に230msくらいになっていたのが120ms程度まで改善しました。気になる消費電力はワットチェッカーによる実測値でも、サーバー管理ツールが示す値でも0.1〜0.2A程度増えてしまっていますがここは性能を取ります。

今回はcpuガバナーをperformanceに変更しただけで楽してますが細々としたチューニングも可能なのでRed Hatさん電力管理ガイド中の、CPUfreq ポリシーおよび速度のチューニング辺りを見ると良いのではないでしょうか。

なお、これらの設定はcpuが動的クロック変更に対応してて、BIOSでも有効になってて、Linux側でも対応したドライバーを読み込んでいるときに有効です。

今回(といっても実は今夏の出来事です)のサーバーはこんな感じでした。

cpu : Intel(R) Xeon(R) CPU E5-2650L * 2 (合計16物理コア)
memory : 16GB
storage : 160GB SSD 

あれ、やっぱりc3.*とかi2.*でもいいんじゃん！？