さくらの専用サーバPHYとその裏側〜物理ホスティング環境構築自動化の取り組み〜 (前編)

この記事は2020年10月23日に行われたオープンソースカンファレンス2020 Online/Fallにおける発表を文章化したものです。

さくらインターネットの井上と申します。私はクラウドサービス部という部に所属しておりまして、主にさくらの専用サーバ関連の業務に従事しております。本記事では、最近リリースした新サービス「さくらの専用サーバPHY」の紹介と、その裏側、中でも主に物理サーバーやネットワーク環境の構築自動化の取り組みについてご紹介します。記事は2本あり、前編となる本記事ではサービスの紹介およびサービス提供までの流れ、および機器の設置・配線に関してお話しさせていただきます。

物理サーバーホスティングは創業期からのサービス
さくらの専用サーバPHYの特長
物理デバイス構築自動化の取り組み
サービス提供までの流れ
自動化が難しい部分もある
設置位置や配線経路はルール化により自動的に決定
ラックにも運用を助ける工夫を
続きは後編で

物理サーバーホスティングは創業期からのサービス

「さくらの専用サーバPHY」は物理サーバーのホスティングサービスです。物理サーバーのホスティング事業は弊社創業期から続いているサービスでして、1997年には専用サーバサービスが開始されています。創業が1996年ですので、ほぼ創業時から続いているサービスです。その後、サービスのリニューアルを繰り返しており、一番提供期間が長いのが「さくらの専用サーバ」というサービスです。こちらは2012年から提供しておりましたが、これをリニューアルする形で、2020年7月から今回ご紹介する「さくらの専用サーバPHY」を新たに提供開始させていただきました。

さくらの専用サーバPHYの特長

高性能なサーバーを専有で

さくらの専用サーバPHYの特長は、まず何といっても物理サーバーをそのままお貸しするサービスということで、高性能な物理サーバーをお客様専有でお使いいただくことができます。ご利用頂けるサーバーは複数のプランがありまして、詳細はサービスサイトに掲載しておりますが、選択可能な最大スペックについてこちらに記載させていただきます。

CPU: 最大2.5GHz 40Core (Intel Xeon Gold 6248 x 2)
メモリ: 最大1.5TB
ストレージ: 最大SSD 3.84TB (最大6つ搭載可能)
オプションでNVMeを最大4つ搭載可 (SSD 3.2TB/6.4TB)
RAID選択可 (標準でRAID1)

物理サーバーの運用を行いやすく

さくらの専用サーバPHYは、ただ物理サーバーを利用いただくだけのサービスではなく、物理サーバーの運用に役立つ機能も多数提供しています。物理サーバーの運用にあたっては電源やネットワークスイッチの冗長化は気になるポイントかと思いますが、さくらの専用サーバPHYではこういった冗長構成をすべてのプランにおいて標準提供しています。また物理サーバーサービスとはいえ、さくらの専用サーバPHYもクラウドサービスですので、自由自在にスケール可能です。もちろん1台だけの利用も可能ですが、複数台のサーバーでシステムを構成することも可能であり、台数の上限がありません。

また、物理サーバーを自分で調達する場合、購入から納入までかなりの時間がかかるかと思いますが、さくらの専用サーバPHYでは事前に構築されたサーバーを準備しておりますので、入金確認後最短10分程度でご提供することができます。また、メモリやストレージを増やしたいといったオプションの追加もオンラインですべて完結し、速やかにご提供できる準備が整っています。

柔軟なネットワーク構成

もう1つの大きな特徴がネットワーク構成です。クラウド環境にある物理サーバーサービスはネットワーク構成があまり柔軟ではなく、ありきたりなネットワークしか組めないという問題を抱えている方が多いと思いますが、さくらの専用サーバPHYではかなり柔軟なネットワークが組めるような仕組みになっています。

それを可能にしている1つがハイブリッド接続です。こちらは弊社の他のサービス、例えばさくらのVPSやさくらのクラウド、あるいはハウジングなどのサービスとL2ネットワークで接続できるサービスです。ハイブリッド接続を使うことで、さくらの専用サーバPHYをクラウドなどと併用、共存する環境でご利用いただくことができます。

それから、もう1つの大きな特徴として、1台のサーバーに複数のネットワークを接続することができます。具体的にはタグVLANによって複数のネットワークを1つのサーバーに入れることが可能です。また、ファイアウォールやロードバランサーなどのアプライアンスも利用できます。こういったものを使うことで、オンプレミスのような複雑なネットワーク構成も構築可能にしています。

複雑なネットワーク構成の例。詳細は構成例を参照

くわしくはWebで

さくらの専用サーバPHYのさらに詳しい情報は、公式サイトをご覧ください。マニュアルも公開しておりまして、コントロールパネルの操作や、公式サイトよりもさらに具体的かつ技術的な詳細を記載していますので、ご興味がある方はご覧いただければと思います。

物理デバイス構築自動化の取り組み

ここからはさくらの専用サーバPHYの裏側ということで、この記事では特に物理デバイス構築の自動化に関することをピックアップしてご説明します。

現在実現できている仕組みとしては、基本的に構築作業における人力作業が設置と配線のみという状態になっています。これはどういうことかというと、サーバーやスイッチなど、ラックに搭載するデバイスはいろいろありますが、それらのデバイスをラックに設置し、電源やネットワークの配線を行い、電源をONにすると自動で構築が進み、お客様に提供ができる状態となるまで準備完了する、といったことが実現できているということです。これをどうやって実現したかをこれよりご紹介していきます。

サービス提供までの流れ

自動化の具体的な手法を説明する前に、まずサービス提供までの流れを簡単に説明します。

まずは初めにラックプランを検討します。さくらの専用サーバPHYでは複数のサーバーモデルをご提供しておりまして、そのモデルごとにラックを構築しています。そのため、どのモデルが売れ行きが良いのか、またサーバーの在庫がどれぐらいあるかなど、様々な要素を踏まえながらラックプランを検討します。その結果、こういうラックを作ろうと決まったら、そのラックを作るための機材(サーバーやスイッチなど)をラックに搭載します。搭載したらセットアップを行い、お客様にご提供できるように販売在庫化する、という流れです。

自動化が難しい部分もある

このラックプランの検討は、売れ行きや、現在サーバーの在庫がどれぐらいあるのか、どういうラックを何個ぐらい作れるのかといったことを総合的に判断して決める必要があるので、なかなか自動化しにくい部分です。

また、ラックプランが決まったらラックに機材を設置・配線しますが、設置や配線作業は基本的には自動化できません。弊社がいくら大きいデータセンターを持っているといっても設置ロボットや配線ロボットみたいなものはなく、ラックへのサーバーやスイッチの搭載は人力で対応しています。

設置位置や配線経路はルール化により自動的に決定

設置・配線作業までは自動化できていませんが、設置位置や、サーバーをどのスイッチとつなげるかという配線経路は、ルールを決めたうえで自動化を行っています。具体的には、装置の搭載位置(ラックの何U目に搭載するか)、電源ケーブルの配線(何U目に搭載した装置はどこから電源を取るのか)、ネットワークケーブルの配線(搭載した装置のネットワークケーブルはどのスイッチの何番ポートにつなげるか)、といったことをルール化しています。

そのルールについてですが、まずさくらの専用サーバPHYではラックに必ず搭載される装置というものがいくつかあります。1つが管理用スイッチです。これはサーバーのIPMIポート（BMCポート）やスイッチのOOBインターフェースといった管理用インターフェースを接続する装置です。もう1つがインテリジェントPDUです。こちらはラック内のデバイスに対して電源を供給する装置です。この2つが必ずラックに搭載されます。これら搭載される装置を踏まえ、さくらの専用サーバPHYのラックにおいては以下の3つの番号を一致させるというルールにしています。

サーバーのBMCポートを接続する管理用スイッチのポート番号
電源を取得するインテリジェントPDUのアウトレット番号(電源供給用コンセントの番号)
ラック内の設置位置(U位置)

実際のラックの写真でご説明します。一番上の黄色で囲んでいるのが管理用スイッチです。右側の黄色で囲んでいるのがインテリジェントPDUです。あとは下の方に黄色で囲んだサーバーがあります。3つの番号を一致させるというのはどういうことかというと、例えば41Uに設置されているサーバー(下の黄色の箱)は、BMCポートを管理用スイッチの41番ポートにつなぎ、電源ケーブルは、PDUの41と書いてあるアウトレットにつなぐ、といったようなシンプルなルールです。

これの何がいいかというと、設置したときに「接続ポートはどこが空いてるんだっけ？どこにつなげればいいんだっけ？」というのを考えなくていい（決めなくていい）のと、位置によって決まるので他のサーバーとバッティングする心配もないというところです。設置する位置が決まってしまえば、スイッチの接続ポートやアウトレットの取得位置を考える必要がないというのは、データセンターの現場で装置を運用していく上で非常に便利なポイントです。

ラックにも運用を助ける工夫を

ちなみに次の写真は同じラックの下の部分でして、みっちりサーバーが搭載されています。これは余談になりますが、ラックにかなり細かい工夫をしています。例えば赤と青のケーブルが見えますが、右側は必ず青のケーブルを使って、左側は赤のケーブルを使うというようなルールになっています。PDU自体の色も、左側は赤いPDUで、右側には(見切れていますが)青いPDUが配置されています。このように見た目で赤と青がはっきり分かれており、誤抜線の心配が少なくなるような設計にしています。

それから細かいところでは、PDUに差し込む電源コネクタはL字型のものを採用しています。スイッチを背面から搭載するときに電源コネクタがL字型でないとケーブルにぶつかることがあるため、それを避けるための工夫です。また、電源ケーブルの長さも無駄な余長が出ないように短いものを利用しています。あと、この写真ではわかりにくいですが、ラックユニットに装置を搭載する位置と、接続先のPDUの高さが同じになるように配置しています。こういったことも配線しやすくする、また作業ミスを減らすための工夫の1つです。

続きは後編で

本記事ではさくらの専用サーバPHYの構築の仕組みの前段をご紹介させていただきました。具体的には、ラックプランの検討、機器の設置と配線ルールの自動化などをご説明しました。後編では機器設置後のセットアップ作業の自動化についてご紹介します。