OSC 2010 Tokyo/Spring に行ってきた

OSC 2010 Tokyo/Spring に、次の講演だけを目当てに行ってきました。参加目的は、「そろそろインフラを BSD に切替えてもいいかもと考えていて、そのための情報収集のためと、そろそろ Linux に疲れてきたかもとふと思ってしまったからです」。

オープンソースカンファレンス2010 Tokyo/Spring – イベント案内 | 2010-02-27 (土): LinuxからBSDへ – reallyenglishのインフラとネットワーク

以下、講演内容のメモです。

• reallyenglish のサービス紹介、おもに BtoB 向けの英語学習サービスを提供
• データセンターは、日本と香港に二つ借りている
• サーバ台数 50 台、30 台の L2/L3 スイッチ、10 の IPsec-VPN くらいの規模、L2/L3 レベルですべて冗長化されている
• OS は、ルータにはすべて OpenBSD、サーバには FreeBSD 7.x を使っている
• nagios の監視レベルで、100 個のホスト死活監視、400 のサービス監視
• サーバは、PXE 経由でインストールしている、VLAN を設定してあって、管理コンソールは HP の iLO2 を使っている(つまり HP 製のサーバだということ)
• 香港のデータセンターは、有料で OS のセットアップまで行ってくれるが、自分たちでなるべくやっている
• smokeping を使って、ネットワークのレイテンシーをみている
• ローカルネットワークにパッケージのビルドサーバ、パッケージリポジトリをもっていて、port ツリーを一部カスタマイズしたりしている
• freebsd-update もローカルのサーバ経由で行っている
• Marcuscom Tinderbox を使って、パッケージのビルドなどを管理している(かなり便利とのこと)
• Jail を多用している、雑用系のサーバには 10 くらいの Jail が起動していた、他の仮想化技術と違って仮想化によるオーバーヘッドがほとんどないとのこと、Jail から ZFS も扱えるとのこと
• Jail の設定はかなりめんどうだったが、ezjail – Jail administration framework というツールでかなり簡単に設定できるようになった
• LDAP を使っている
• ZFS を本番環境で使っている

Version 13 が RELENG_8 に入っている

ほぼ本番環境でも使えるクオリティに仕上っている

ZFS の運用では、パーティションやスライスを切らないのが普通とのこと

ルートパーティションは、UFS2 にして USB メモリに入れてブートしている

ハードディスクは、すべて ZFS に割り当てている

SSD 上で ZFS L2ARC : Brendan Gregg にある L2ARC(read), ZIL(write) という仕組みを使うと SSD をキャッシュとして使うことができる

Dedup という実装が進んでいる(詳細は調べてみたが分からず)

• HAST – FreeBSD Wiki という Linux でいうところの DRBD のようなものが開発が進められている
• HAST + ZFS + iSCSI という夢の組合せができるかもしれないとのこと
• nagios version 3.0.6 を使って監視しているが、Template Engine を使ってテンプレートで生成している(mixi と同じ方式だと理解しました)
• reallyenglish では、現在開発エンジニアとインフラエンジニアを絶賛募集中とのこと

その他、貴重な本番の nagios の監視画面や smokeping の画面やネットワーク構成図も見ることができました。

BSD 系のインフラの話は、あまり話を聞く機会がなかったのでかなり参考になりました。

まずは、自分個人の FreeBSD サーバで ZFS や Jail を使ってみたいと思います。

Tags: oscon