自作サーバカンファレンスに行ってきました

25日夜に自作サーバカンファレンス(http://atnd.org/events/2052)に行ってきました。

注) 自作サーバと自宅サーバは違います。参加表明を見ると混同している人が多そうなんだよなー


■19:15 オープニング(はてな 田中慎司(stanaka))
サービスするのに自作サーバを採用する意義
・安い…不要な機能を削れるなどで安くあげられる
・早い…部品を買出しで調達できる
・うまい…欲しい機能、強化したい機能を自分流にアレンジできる

クラウドサービスを使えば？
はてなの場合：ハード1台10万円　コスト月額5000円ほど→年間16万
これをAmazon EC2,S3で同じことをやろうとすると、年間2000〜3000ドルかかる
→まだコスト的に勝てる

コストもあるが"住み分け"
・通常のサービス＝自作サーバ
・突発的に発生する負荷の対策＝クラウド


■19:22 トーク #1(はてな 吉田晃典(marqs))
※ググればこの人のブログが出てきて、実機写真をみることができます。(ブクマがすぐでないので…)
さくらインターネットIDCに最適な設計
ハーフ１U（奥行きが半分)
設計・試作機製作に３ヶ月
90台以上量産し、半年実運用してほぼトラブルなし
(ただし、部品不具合による初期不良が多い)
消費電力　0.5A〜1.1A
1ラックに45台載る
APサーバ、DBサーバ、ネットワーク特化サーバ、ストレージサーバと役割で部品構成を多少変えている
APサーバ(Web等)…標準構成 2.5インチHDD×1 メモリ8GB
DBサーバ…試験的にDBスレーブはHDDの代わりにSSDを入れている インテルSSD(X-25M)は運用半年経っても壊れてない。安価なメーカーのはすぐ壊れた
ネットワーク特化…NICが2つ、IPMIついている。LVSやPCルータに使用
ストレージ…ハーフ1Uを縦に重ねて2Uにしている。3.5インチHDD 1.5TB×4 中身はMogileFSクラスタ
※最近はてなは仮想化に手を出しているので、サーバ１台をシンプルに作る構成から路線を変えている
壊れた部品は修理せず捨てる。
インフラチームの規模：４人＋バイト３人。バイトはほぼ毎日IDCに行ってメンテ。夜中にかけつけはほとんどない。リモートでおおよそカタがつく


■19:45 トーク #2(pixiv)
※Flickrあたりで検索すればサーバ群の写真があった気がする
170台
自作のきっかけ＝社長の鶴の一声「Googleみたいにしよう」
メタルラックにマザボやHDDを枕木して直置き
部品が固定されていない(ケーブルで繋がっているだけ)なので移動が大変
↓新型機「B-28」投入
ベニヤ板に部品を固定。部品はガムテで固定
2.5インチHDD 160GB、8GBで5万円ほど
インフラチームの規模：創立当初１名→１年経過して２名に→更に１年経過して現在３名
サーバルームがオフィスと同じフロア。暑い。30度以上→業務用エアコン増設
コスト
電力量 125A 台数170台 1台あたり0.7A〜0.8A
オフィス(社員20名分)も含め月額31万

Q. 地震でラックが倒れないか？
A. 自重で今までは大丈夫だった。対策していないのでこれからは分からない

Q. テナントビルとのことだが、法定点検のときは停電するのでは？
A. 点検したことないので停電したことない　←どういうことなの…

Q. UPSは？
A. あります　←スライドになかった写真で見たことあります。ラック最下部にあるバッテリーですね
(大量の蓄電池を稼動状態にするのは法的にアレだった気がする…)

Q. 回線は？
A. 2Gbps

Q. ルータなどのネット機器は何を使っている？
A. ヨドバシなどで売っている家庭用のを…　←どういうことなの…

参加者からの指摘：サーバのようにずっと動かす機械があるなら、力率割引が効くかもしれないので東電に相談してみるといいよ


■20:07 トーク #3(CyberAgent)
自作サーバの理由＝コスト削減　スケールアウト前提
200台
AtomとCore2Quadを役割で使い分け
2.5インチ160GB、4GB、省電力CPU
Atomは4万ほど、Quadは8万ほど
Mini-ITXなM/Bで構成、部品をアクリル板に固定、これを立ててラックに収納してブレードサーバっぽくしている
ハーフ1Uなので、ラックの前後から搭載
KVSを構成
KVS分散サーバ(ベンダー製)→KVS溜めるサーバ(自作)→マスタDBサーバ(ベンダー製)
ベンダー製と自作とを使い分け
常に同じ部品が揃うとは限らないので、在庫をもつようにしている
ネットワーク周りは特に気を使っていない。サーバ移設が面倒なのでいったんラックに載せたらまず移動させない
移動させない、サーバを通し番号で管理、Tagged-VLANを利用し役割でネットを切り替えるようにしている(線の抜き差しが要らない)
故障率 稼動9ヶ月で200台中4台故障。(ただし、部品不具合による初期不良が多い)
消費電力は1Uの60%ほど。
インフラチームの規模：３人、人手が必要な場合は開発部隊に応援してもらえるように話をつけてある


■20:36 トーク #4(Cerevo)
社内に自作ラックを作りました。
これに自作1Uサーバをがしがし載せていく。
IDC借りたり、オフィスに置くにしてもスペースを食う。スペースはコスト。
ラックを自作して、天井に向かって積み上げればスペース食わないじゃん
自作ラック＝書庫にあるようなオープンタイプのラックです。
ただし、こちらはホームセンターで部材を買ってきてグラインダで切ったり削ったりしています。

サーバ：Quad　消費電力を抑えるためDC12Vのみで動くようにしている。PicoPSUを使用
インフラ担当者(現在1名)の趣味でGentoo
これにLVS,NginX,Tokyo Tyrantを導入
WebDAV+Tokyo TyrantでMogileFSみたいなことをしている
スクリプトはPythonとLua(担当者の趣味)


■20:58 トーク #5(チームラボ)
サーバを置くためにオフィスを借りたという話
検索サービスSAGOOL 130台
IDC借りていた 月額[8ラック200万+回線40万]
ケースを自作(昔のはてな型)→月額[4ラック100万+回線を使用量見直しで20万]
担当者「最近、手がしびれる」→ケースにショートし、ラック全体が帯電→ラックに触ると感電→ケースとラックの間にゴム板を挟んで絶縁→しびれがなくなった
担当者「最近、サーバがとてつもなく熱い」→ゴム板がラック内のエアフローを妨げていた→縮退運用を余儀なくされる
IDCでの運用は厳しいよね？→IDCを自作するか社内にサーバを置くか→社内は置く場所がない
家賃15万で200A使える事務所を探す→なかなかない(当たり前)→印刷会社が入っていた物件があった
引越は部材と梱包をクロネコに頼んで(日通のプロコンポみたいなもの)、レンタカーで自分らで運んだ 20万ほど
メタルラックにサーバを設置。何台ものサーキュレータでひたすら冷やす(どこかで見た光景…)
現在 月額[家賃15万+4回線5万+電気代20万]
今年の夏：オフィスは1階で地面と同じ高さ→大雨で浸水した→土嚢を積んでしのいだ
今後の目標：
サーバに温度センサをつけてアラートが上がるようにしたい
基本的に無人なので、動体反応するカメラをつけたい(どこかの会社みたいですね)
サーバのランプをカメラで撮影して画像解析して異常時はアラートが上がるようにしたい(佐々木さんが以前言っていたことがここでも！)
っていうか、ロボット作ってオフィスを巡回させたい。
↑その前に浸水対策をするべきｗ
オフィスにはまだ機械置けます。誰か置きませんか？


■21:22 クロージング
時間が押したので懇親会の案内のみ


■総合
・きっちり計画立ててサーバをどこも作っていない。
「とりあえずこういう感じになるからこうじゃね？困ったらその時に考えればいいんじゃね？」的な感じ。いいなぁ
ネットワーク的(バックボーンがこう、負荷分散をこう)に考えているところがほとんどなかった。
全体的なリソース(ハードや電力、人力、お金)も然り。