自作サーバカンファレンス

雑記

自作サーバカンファレンス : ATND

自分用メモなので他の人が読んでもきっと役に立ちません。

全体

  • 基本は「クラウド(EC2)高い、ベンダサーバムダに高い、だから自作にしよう」
  • ほとんど皆1Uハーフ、たまに2Uハーフ
  • ディスクは2.5inch、DBスレーブにはIntel SSD使うところ多し
  • 用途はAPサーバ、DBスレーブ、ストレージサーバなど
  • サーバ代は大体5-10万/台
  • 最大1Aを少し超えるぐらい、アイドル状態で0.5Aとか
  • ソフトの話だが、皆当たり前にLVS使ってた

はてな

  • 物理オペレーションをほとんどアルバイト任せにしている点が印象的。大手SIだと子会社や派遣の人を使ってやらせる作業。
  • ベンダ製サーバに全く頼っていないためか、自作サーバの中では最もまともに見えた。
  • APサーバで8万、DBサーバ(SSD)で16万、ネットワークサーバで10万ほど。
  • 材料は値段の高騰等を見据えて2,3ヶ月先の分まで買いだめしてる模様。
  • 初めてまともに id:marqs の仕事の話聞いた……あんな仕事やってたんだ。ちょっとかっこよかった。

pixiv

  • 今回のセッションの中では際立ってやばかった。
  • ベニヤにマザボ載せてガムテで固定し、ホームセンターの金属ラックに載せるだけ。
  • サーバ代は5万円/台。
  • サーバ120台＋社員20人で月31万の電気代。
  • 組み立ては5min/台。
  • 地震・停電・防火対策についての質問の回答は全て「今まで問題が起きたことはない」

CyberAgent

  • 簡易ブレードのような形で使ってる。200台ほど
  • 板はアクリル、固定はネジ＋業務用両面テープ。これでもpixivの後だからものすごくしっかりした作りに見える。
  • 電源をボールペンショートで起動してるのなんてもはや全く気にならない。
  • サーバはQuadタイプで8万、Atomタイプで4万ぐらい。
  • AtomタイプをKVノードに使ってる。DBマスタ、KVマスタはベンダ製サーバ。
  • 組み立て20min/台。100台の設置を10人×7時間でやった。インストールはPXE＋自作スクリプト。
  • Atomだと消費電力がmax0.5A。Quadだと高負荷時にラックごと落ちるがAtomだとその心配がない。
  • 故障は200台中4台/9month。ただし初期不良はたくさんあった
  • 100台単位だと材料確保が困難で、構築ごとに違う材料なんてことも。
    • だからマニュアルが役に立たず、個人の力量が問われるとのこと。

Cerevo

  • 初めて知った会社だったが、話を聞く限りやたら技術力が高そうな印象を受けた。
  • 鋼材買ってきてグラインダで切りまくって自作ラックを作った
  • 「いい工具を使うべし」とのアドバイス
  • 単出力電源(12V)というのを初めて聞いた。高寿命・高出力らしい
  • OSはgentooで、LVS、nginx、Django、MySQL、Tokyotyrantなんかを使ってるらしい。
  • エディタはnano。vi、emacsすらないらしい。単なる趣味とのこと。
    • ちょうど職場で先輩が「nanoいいよ」と話していたのでタイムリーだった。でも別に vi でいいじゃん……。

チームラボ

  • 130台をデータセンターで運用してたら8ラックで月240万だった。
  • キュービクルのある部屋を借りて引っ越したら月40万になった。
  • 大雨の時に浸水したのを土嚢で止めたという話が一番衝撃的だった。
    • 「前の人はどうしていたんだろう」とつぶやいていたが、それが原因で引越したんじゃなかろうか……。
  • 自前で監視装置を作ろうとしてる。あれは楽しそう。

感想

  • これだけのことができる技術者はそう多くはない。……今のところは。
  • もしこれだけの自作サーバを構築・運用できる会社が増えたら、サーバベンダーは潰れないまでも事業規模を縮小せざるを得ないだろう。
  • ベンダ製サーバを買わなくなるということはないだろう。リスク分散という意味だってあるわけだし。