NHNテクノロジーカンファレンスに参加してきました

NHNTech

Open Compute Japanについて(鵜沢幹夫さん)

  1. Open ComputeはFacebookがはじめたデータセンターのオープンソース化
  2. 背景
    1. アクセスがデータセンターが巨大化
      1. 27MWの電力
      2. 一人のエンジニアで数万台を管理する程度の自動化
    2. モバイルにトラフィックに移行し始めている
  3. なぜオープンソース?
    1. インフラエンジニア間のコミュニケーション
    2. エコシステムの構成によるコスト低下
  4. 競争からエコシステムへ
  5. BtoCでは、どうしてもコスト低下が必要になる
  6. データセンターの実際
    1. 隙間はありあわせの材料
    2. ホットアイルは配線なし
    3. サーバーは全て差し込み。工具がなくても分解組み立てが可能
    4. 2を除いて5までの四種類のサーバー
    5. 一号棟は人工ミストで冷却
      1. 実験に使うような純水を使っている(地下にすごいプラントが)
    6. 二号棟では気化熱を利用するシステムに
    7. 高温多湿の環境でもなんとか動く
  7. DONE IS BETTER THAN PERFECT

データセンターの不思議運用テクニック

  1. 高密度ラックに施錠つきはありえない
    1. 空気の流れが悪い
    2. でも日本だと難しいところも
    3. メッシュのラックを使いましょう
  2. 不思議な運用って？
    1. 綺麗な配線を目指しましょう？
      1. 付属品の電源ケーブルは長すぎるので、短いのを買いましょう
      2. 引き出し式では遊び必要
    2. リールから自作しない
      1. 長期使用でトラブル
    3. 市販の極細タイプケーブを
    4. サイドフローは敵
    5. サーバーの構成に合わせてフローの構成
    6. 風がちゃんと通らないと落ちるので、真ん中は1U分交互にあける
    7. 熱い空気を吸い込むのを防ぐ為に遮蔽版を
      1. 工作用紙でちょうどいいらしいです(^^;)
    8. 風向計も自作
  3. 上にL2スイッチを置く構成は空気の流れを乱すので、できたら下に
  1. アイルキャピッング
    1. 熱い空気とつめたい空気を分けて、熱い排気は速やかに排出
    2. 設置のときに気をつけないといけない
    3. エアフローを変更できるスイッチがある
  2. 配線をひとつにまとめる
    1. ただし、ファンの交換には干渉しないように
  3. 分業の細分化によって保守とデザインが大変に
  4. 小物をどんどん活用しましょう
  5. 「空気を読みましょう」
  6. 「交換できるようになっているものは交換する可能性があります」
  7. 質問
    1. 細いケーブルの電波耐性は？
      1. 最近はいいのが出てきている。ただし、長くても数メートルが限度
      2. UPSとかあるときついけど、直流給電できれば
      3. ケーブリングの工夫で軽減できるよ!
      4. なんとか運用で逃げられる
    2. 古いデータセンターによくある扇風機、効果あるの？
      1. コールドアイルは部屋の隅なので無いと死ぬ。実際にはエアサーキュレーターの方が効く
    3. 湿度は？
      1. かなり大事。特に外気型は大変

こんなデータセンターはいやだ

  1. 楽天のインフラ設計の人
  2. 楽天の事例ではありません
    1. 地方データセンター
      1. 地方のデータセンターは交通の便がいいとは限らない
      2. 豪雪地帯のど真ん中
      3. 駅からバスが一時間に一度、終バスも速い
        1. 暇つぶしの用意をお忘れなく!
    2. セキュリティ
      1. 昔はセキュリティはゆるゆる
      2. 今はめちゃくちゃ厳しい
      3. 障害のようなイレギュラーが起きると大変なことに
    3. 貸し出し
      1. どうしても足りないものが出てくるので、データセンターに借りることに
      2. 有料と無料があって複雑。事前の確認を
    4. ファイバー
    5. キャリアごとに分けているからといって安心できない
      1. 系統としては一系統とか
      2. 引き込みが分かれいるか
      3. 縦管は？
        1. 交差していたり
    6. ＋ルーム内の引き込み口は？
      1. 実は途中のルーターはひとつだったり
    7. 頑張って交渉するべき
    8. 電源にも同じことが言える
    9. 最後にはDCレベルの冗長構成が必要
    10. 電源容量の確保も大事
      1. 定期的に確認を
    11. 非常時の燃料は本当の非常時には確保できません
    12. ブレーカー
      1. プレーカーを上げる作業は意外と面倒
      2. 予備は何かあった時にちゃんと耐えられるものを
    13. エアフロー
      1. データーセンターで設備だけでできない冷却を行うようになっている
      2. 自然風の取り込みには注意
  3. 泣かない為には事前準備は大切
  4. 質問・意見
    1. 掃除は
      1. 結構大事、かつ大変
      2. ルンバを入れたところがある
        1. 広すぎて電池切れて息耐える
    2. 冗長化対応をコマンドで切り替える機種があるので用確認

「落ちる時は落ちる」

こんな利用者はいやだ

  1. 事業者側から見た困った利用者
  2. 布団をサーバーの前に引いていた
    1. 羽毛がトラブルの原因になるのでやめてください(＞＜)
  3. しまらない扉
  4. ラックを加工し始める人
    1. 金属粉がダメージになる
  5. 床下の配線
  6. ラックが物置になっている
  7. なぜか野良AP
    1. 携帯のテザリングも注意

　ここで講演者交代

  1. あくまでフィクションです
  2. 入れないデータセンターと出れないデータセンター
    1. 指紋認証の罠
      1. 中々通らない
    2. なんとか入ったものの、出るときにも引っかかって出られない
    3. 緊急連絡先もない
    4. データセンターにトイレもない…
  3. 友連れ防止扉が狭いので、交換部品をもって入ったら動けなくなった
  4. 二重床になっている床を開けっ放しして帰っていく人がいる
    1. 落ちる
    2. エアフローが変わる
  5. 立会い20人が本当に来た
  6. 「L2スイッチ貸してください」
  7. 床を開けて穴をダンボールでふさいで行く人がいた(!)
  8. 質問
    1. 血まみれになった光ファイバーはどうしたの？　というフィクションを話してください
      1. 拭きました。ケプラーで保護されているので多少の汚れは大丈夫。ただし電源が走っていたらまずかった
    2. アメリカではサーバーの前に兵士が立ち番しているケースも

パネルディスカッション

　データホテルの嶋田さんとさくらの社長の田中さんによる

  1. 本当に儲かっている？
    1. 田中さん「上場しているのでガラス張りですが、儲かっています」
    2. 嶋田さん「うちは過酷なトラフィックがあると儲かる。ソーシャルアプリとか」
    3. 会場から「今年はまぢきつい」
  2. AWSは敵か味方か？
    1. 田中さん「敵です。でも、クラウドしかやっていないのも事実なので対抗はできる。ライバルなのは間違いない」
    2. 嶋田さん「影響力は大きい。でも、敵とも味方ともいえない。隣に外人さんが引っ越してきたような感覚」
  3. 目障りな競合は？(^^;)
    1. 嶋田さん「今年の後半は値下げブームが来るので、値下げしてくる業者はやっかい」
    2. 田中さん「AWS」
      1. 自然にライバル関係ができたりすることはあるけど？
        1. 田中さん「各分野ではぶつかるが、全体でぶつかっているところはない」
  4. 人物金、技術、大事なものは
    1. 田中さん「やはり人。技術を買ってくるのだけだと、優位は出ない」
    2. 嶋田さん「データホテルのロゴには人の文字が入っている」
  5. SDNは必要
    1. 田中さん「もっと泥臭いものでないと」
    2. 嶋田さん「つながりさえすればいいかな？　と」
  6. OCPJはどう？
    1. 田中さん「人出しています」
    2. 嶋田さん「興味あります」
  7. どこへ向かうのか？
    1. 嶋田さん「海外で使いたい、というお客さんが増えている。シンガポールもデータセンターパークを造っている。国際化のムーブメントは加速するのではないか？」
    2. 田中さん「東京の市場が厳しくなるので、減らすかもしれない。でもそれでは夢がないので国際化に乗っかりたい。特にアジアはこれからすごく延びる。でも、国情を考えると日本の北の方にも目があるのではないか？」
    3. 嶋田さん「欧米に行きたいお客さんと南の方に行きたいお客さんがいて、それぞれに対応が必要。ただ、カントリーリスクなどを考えると、アジアのデータを日本に集めるという方向性もあるのではないか？」
  8. ホスティングは楽しい？
    1. 田中さん「私は人生ホスティングですから当然です。手段にこだわれるのは楽しい」
    2. 嶋田さん「田中さんのホスティング愛には負けるけど、パソコン触って楽しいという感覚の延長で楽しんでいる」
  9. 質問
    1. 電力事情はこれから厳しくなっていくが大丈夫か？
      1. 田中さん「これからどんどん新しい発電方式が出てきて、電力会社としては高くなるけどトータルでは安くなるのではないか？」
    2. アクセスが悪いとエンジニアが集まりにくいのでは？
      1. 田中さん「北海どうでも場所による。石狩は札幌に実は近く、各社の営業所もあるのでレスポンスもいい。ただ石狩市民の雇用がほとんどないのでそこがネック」