cybozu.com のラック設計 - Cybozu Inside Out | サイボウズエンジニアのブログ

こんにちは。運用本部の大野です。

今回はいつもと趣向が異なる物理インフラのお話。弊社 cybozu.com を運用するデータセンターで行った、ラック設計について一部紹介したいと思います。

そもそもラック設計って？

ここでのラック設計とは要するに「運用性の高いラックを作るためのルール作り」のことです。

「ラックなんて冷やしてケーブル差せばいいんだろ」と思うかもしれませんね。

しかし！運用性の高いラックはシステムの安定稼働にとって重要なポイントです。作業し易いのは勿論のこと、誤ってケーブルを抜いてしまうなどの人的な障害リスクを軽減しますし、万一の障害にも影響範囲を最小限に止めることが出来ます。

そして、その運用性の高いラックを作るためには事前の設計が重要になります。一度システムが稼働してしまうと物理的な移動は非常に困難になるからです。弊社がデータセンターを新設した際に行ったラック設計のポイントは大きく3つです。

それぞれ具体的に何を行ったのか簡単に紹介します。

まず最初に行ったのはラックレイアウトの標準化です。
弊社では1Uサーバ10台と2Uサーバ10台の計20台を1SVラックとし、それ以外の管理サーバやネットワーク機器をNWラックとして纏めています。

※SVラックはアプリケーション＆ストレージサーバが集約されています

NWラックを中央に集約し、そこから左右にSVラックが伸びる形になっています。
用途の異なるSVラックとNWラックを分けることで管理が楽になりましたし、配線も規則正しく収まるようになりました。

また、弊社では今後の拡張を見込んで同じラック列に事前に数ラックを予約しています。NWラックから予約ラックまでは事前に配線済みのため、増強時はNWラックで新しく配線したりする必要はなく、事故の心配が無いように配慮しています。

次にケーブリングです。弊社では場所に応じ細径単線ケーブルと細径撚線ケーブルと呼ばれるもの2種類を使い分けています。

細径って何？と思われると思いますが、その名の通り単に通常よりも一回り細いケーブルのことを指します。これはケーブルスペースの圧縮やエアフロー改善に非常に効果的ですのでオススメです。

次に単線と撚線ですが、ケーブル内の一芯の断面が銅線1本で出来ているか、7本の同線を撚って出来ているかの違いがあり、それぞれ以下の特徴があります。

単線は減衰が少ないので長い距離を配線するラック間配線で利用しています。ここは一度配線すれば触れることは無い部分ですので曲げに弱くても問題ありません。

撚線は減衰が増加しやすいので短い距離を配線するラック内で利用しています。撚線は曲げには強いため、機器の追加撤去で抜き差しが発生しても安心なのです。

電源についても弊社では1つのラックに2系統を引き込み冗長構成を取っています。

サーバは電源ユニットが2口あり、両方から電力が供給される設定です。SVラックは平時で4.5kVAの電力を使用する設計になっているのですが、片系統がダウンした時でも必要な電力が賄えるよう、両系統それぞれで十分な電力を引いています。

一方で今度は1ラックあたり40本にもなる電源コードを収容しなければいけません。そのため(社内でも殆ど知られてないですが)備え付けのラックより少し奥行のある 600mm×1100mm (幅×奥行)のラックを調達し、ラック背面で綺麗に整線できるようにしました。

というわけで以上が弊社がデータセンターを新設する時に考えたラック設計です。 (他にもネタはあるのですがキリがないのでここらへんにしておきます)

今回は cybozu.com のラック設計を駆け足で紹介してみました。
多少ラックの見方が変わりましたでしょうか。
物理レイヤも色々と深いんだなーと感じてもらえれば幸いです。