hbstudy25 劇的ビフォーアフター
- 1. hbstudy#25 ピクシブ株式会社 飯田 祐基
- 2. アジェンダ ● 紹介 ● はじめに ● Before ● After ● ドーピングTips集 ● 近況と今後の展望
- 3. 紹介
- 4. 自己紹介 ● 飯田 祐基 (@semind) ● もうすぐ三十路 ● もうすぐpixivに来て2年 (インフラ部隊) ● 前職はプロバイダ (I○J) ● ネットワーク、広告配信、画像配信、データセ ンタ ● リクルータみたいなことも ● コーディングもサーバもネットワークも配線も ● 最近の興味はrails, coffeescript, html5, css3
- 7. WEB+DB PRESS Vol.63 絶賛発売中！ (pixivのこれまでの歴史)
- 9. はじめに
- 10. 弊社システムの特徴 それは....
- 11. 自作サーバ！
- 13. 人件費...管理コスト...
- 14. 黙らっしゃい！ ない袖は振れない
- 15. 色々大丈夫なの？ 案外いけます (でもBtoBとかではやらない方が良いと思います)
- 16. すぐ壊れたりしないの？ そうでもないです ● 200台強でディスク故障が数回/年 ● 意外とNICがダメになりやすい (１回/月未満) ● その他のパーツも月１回あるかないか
- 18. 捌くための努力 大きく2パターン ● 積むもの積む(ハードウェア増強) => コスト大 ● 積むもの積まない (最適化) => コスト小
- 20. 積まずに済ます努力 当然やってます！ ● プログラムの最適化 ● ミドルウェアの選定、チューニング
- 21. 安いものを限界まで使う 安いものを限界まで使う （性能を引き出す）
- 26. ベニヤ(B28)サーバ ● CPU: AMD AthlonⅡ X4 605e ● Memory: バルク 8GB ● HDD: WD1600BEKT (Crucial RealSSD C300 64GB) ● 電源: KRPW-V300W ● MB: GA-MA785GMUS2H 1台あたり５万円弱 (主にビッグカメラで購入) http://www.atmarkit.co.jp/news/201007/21/pixiv.html
- 27. パーツ(機器)を選ぶ基準 ● 安い！ ● 消費電力が少ない (かなり重要) ● 基本同じものを揃える ● 用途に合わせて一部良い物を使ったりする ● 機能要件と値段を天秤に
- 28. ラック ルミナスホームラック4段90W LH9015-4 (x2) ● ￥18,000 ● ルミナスはエレクタより安価 ２０台 / 1ラック 東急ハンズで購入
- 29. UPS UPS1200LX ￥7,980 (x7) ● ホントに安い ● 2年すると瞬断でも × ● 電圧降下が起きて不安定 サウンドハウスで購入
- 30. L2スイッチ(Giga 24port) Buffalo LSW-GT-24NSRR ● ￥ 30,000 ● ほとんど壊れない ● 少し上位のモデルは７００Mbps出た ● BPDU透過
- 31. ルータ (外向けの接続) Super OPT 100e ● １００M共用回線用 ● 価格.comで調べたら最安が￥16,000くらい ● 通販で買ってた ● 今はL2スイッチと同じものに入れ替えた
- 32. ベニヤ板 大きいのを１枚買って加工してもらう １２０円 / 1枚 (東急ハンズ) 感電対策のために非常に重要 マザーボードのたわみ対策で非常に重要 実はベニヤじゃなくてMDF板 懺悔のお言葉
- 33. たわむ
- 34. 実際運用してて感じた事 ● まとめて調達するのは難しい ● 家電量販店でも値切れる ● 販売停止のサイクルが早くて困る ● ロット単位ではずれ引いたりする ● 思ったよりも荒い扱いしても大丈夫 (市販品 でも質は高い) ● 配線が結構面倒 & 酷くなりがち ● 物理的に違うホストと間違えやすい ● NICが壊れる ● Realtekは弱い (でも実績で270Mbpsは出た) ● 新しいパーツを直ぐ試せる (SSDとか)
- 35. 悩みどころ(限界) ● L3スイッチは比較的高価なのでL2でカスケー ド繰り返してたらアドレスが足りなくなった & 輻輳が酷くなった ● 共用の回線を沢山引いていたら（外→室内 の）ファイバを通す余裕がもうないと言われた ● 電源まわりが非常に不安 ● セキュリティ的にも非常に不安 ● リモートで電源操作できないのは不便 ● 正直地震は怖かった
- 38. データセンタ移行 ● 建物的なキャパの限界 ● 局舎側のキャパの限界 ● ネットワーク（輻輳）の改善 ● 移行に伴い浮いたハードウェアリソースを利 用して配線等を見直し ● (色んな意味で)信頼性の向上 ● ハイブリッド構成
- 39. スパゲッティーコード（笑）
- 40. meets
- 41. L3スイッチ & モール !
- 43. HP A5500-24G E ● VRRPで冗長化 & スパニングツリー ● 定価60万強 ● 24ポート Gigabit L3 Layer Switching Hub ● オフィスサーバルーム、データセンタ間の専用線接続 ● スター型へトポロジーの変更 ● サブネットの分割 ● かなりCiscoライクでマニュアルを頑張って読めばなんとかなる ● 元々はH3C社の製品
- 44. ルータワー（笑）
- 45. meets
- 46. IDCフロンティア ! ● 契約帯域 Max 8Gbps ! ● 4ラック 100台強稼動 ● コアな機能はほぼすでにこちらで動いている ● 会社から近い ● 外側のスイッチの運用はお任せしている ● データセンタ移行記 http://dev.pixiv.net/archives/1140352.html ● 6GbpsをさばくオレオレCDN構築術 http://www.slideshare.net/semind/20101220-pixiv-techmeeting-6267332
- 47. HP Proliant DL120 G6 ● 現在の主力機 ● 定価１０万強 ● iLO (リモート電源管理, Serial over LAN) ● 3.5インチベイに2.5インチ変換アダプターで SSDを接続
- 48. A+ Server 2022TG-HTRF ● 2Uに４台分 (デュアルCPU)入るベアボーン キット ● ベアボーンのみで３０万強 ● 空間効率が非常に良い ● Opteron 8-Core 6128 x8 ● アプリケーションサーバとして利用 ● ベニヤサーバ１6台分 (CPUコア数ベース) http://www.supermicro.com.tw/Aplus/system/2U/2022/AS-2022TG-HTRF.cfm
- 49. HP ProCurve Switch 2510G-48 ● 各ラックのLANを受けるのに利用 ● 定価２０万強 ● ４８ポート -> L3スイッチを通るトラフィックが減少 ● L3スイッチのとの間でリンクアグリゲーション (L2 ⇔ L3 2G) ● mysqlのコネクション接続の失敗が減少した
- 50. ドーピングTips集
- 51. 少ないハードウェアリソースで捌くコツ 1. キャッシュする 2. TCP接続しない 3. ピンポイントで良い物使う
- 52. nginxでローカルキャッシュ ● 画像配信系サーバで実施 ● 参照頻度が高く、種類の少ないファイル(js, css, ランキングサム ネイル, 広告系の画像etc) ● Disk IOが増えがちなのでメモリ増強 + SSD投入 ● nginxの設定でIO減少 proxy_temp_path /dev/shm/nginx_proxy_temp; proxy_cache_min_uses 5;
- 53. APC + TokyoTyrantで２段キャッシュ ● 広告配信系サーバで実施 ● APC (Apacheのメモリ空間上にキャッシュ、揮発性) ● 元々はMemcahed(unix domain soket)を使っていた ● DL120G6でピーク時 1200req / sec (１台あたり、まだ余裕)
- 54. APC + TokyoTyrantで２段キャッシュ APC > Key Value Store (Unix Domain Socket) > Key Value Store (TCP) >>>>>>>越えられない壁>>>>>>> MySQL
- 55. memagentで持続的接続 ● セッション用KVS、APサーバ間等で利用 ● TCPの持続的接続 ● コネクション数の節約
- 56. Intel NIC EXPI9301CT ● オフィスサーバルーム時代に大活躍 ● 3500円くらい ● LVS、画像のフロントサーバなどに利用 ● インテルは強い子
- 57. Broadcom BCM5709 ● LVSで利用 ● 1万 ● on Ubuntu 10.10 にて CPUコア分散 ● generic-receive-offloadをoffにしている MTUサイズを越えるSQLクエリーの再送が頻発 $ ethtool -k eth0
- 58. MTU 6144 ● いわゆるジャンボフレーム ● できないNICもままあるので注意 ● 大きいファイルの転送などには効果あり ● 黒魔術系 (リブート病、再送の頻発)
- 59. RealSSDシリーズ ● メモリには乗り切らない...でもDisk IOが多い所 に利用 ● 画像キャッシュサーバ、DBスレーブ ● ラックマウントサーバの3.5インチベイでもなん とか使えるかも
- 60. Secure Erase ● SSDは書き込みを繰り返すと劣化 -> Disk IO が酷い事に ● Secure Erase (完全消去) を実行 ● 結構劇的な効果あり
- 61. 近況と今後の展望
- 62. 近況と今後の展望 ● 全文検索をTorittonからSolrへ切り替え ○ インデックス生成バッチ処理にscala ● Key Value Store を Kyoto Tycoonへ ● ドーピング的な最適化から緻密な最適化へ ○ パケットのdump ○ ログ集計、負荷の可視化 ○ slow queryの条件を厳しく ○ オープンソースの挙動を追う ○ メンテナンスセグメント構築
- 63. 近況と今後の展望 ２ ● 管理コスト減 ○ フレームワークの導入 (rails, silex) ○ 開発、デプロイ方法の整備 ○ 監視設定の整備、自動化 ● データ、ログ解析 ○ レコメンデーション ○ 最適化 ○ ユーザの動向の把握 ● 海外展開に向けてCDNとかディザスタとか
- 64. まとめ ● 安くても良い物はたくさんある ● でも限界もやっぱりある ● 要は適材適所、ケースバイケース ● リソースの制限はエンジニアの成長を促す ● なんだかんだで自作(選択肢が制限されな い、自由)というのは存分にメリットあり
- 65. では一緒に働いてくれるエンジニアを募集しています http://recruit.pixiv.net/
- 66. ご静聴ありがとうございました