MySQL Conference 2008に行って来た

今年もMySQL Conference 2008に行ってきました。社内向けの報告資料と雑多なメモですが、よろしければ参考にしてください。

*1

概要

• MySQLがSunに買収されて始めてのConference
• 8セッション並列で、OSCONの規模にだいぶ近い
• MySQLが扱うトラフィック量・データ量がどんどん大きくなってきており、それにどう追従するか、という観点の話が多い

買収の話とか

• "MySQL、新機能追加は有償版の「MySQL Enterprise」だけを対象に"というのは、かなりミスリーディングな記事
• 実体は一部のセキュリティ形の機能やnative storage engine-specific driverをMySQL Enterpriseとして出す、という話
• Backup機能や、Falcon, Mariaといったストレージエンジンの開発では、Community ServerとEnterpriseのCode baseは統一されたままになると思う

GoogleやFacebookでのMySQL

Google

• GoogleはInnoDB改善の専門チームがある
  • 8core, 128GBといった大きいサーバでの並列性能を改善
  • 検索システムでは使ってない
• 思っていたより、GoogleはMySQLのヘビーユーザらしい

Facebook

• Webサーバ 10,000台、DBサーバ 1,800台だそうな
• 世界で一番のMySQLのヘビーユーザではなかろうか

次期ストレージエンジン

Maria

• MyISAMの後継
  • 性能向上
  • トランザクション
  • Crash safe
  • Table lockってのは変わらなさそう
• けっこう期待できる

Falcon

• InnoDBの代替ではないと言っているけど、代替としか思えない
  • InnoDBはOracleだし
• InnoDBより大規模なサーバでの性能を改善
• Googleが改善しているInnoDBと張り合えるかどうか

memcached

• MySQLがmemcachedを正式サポート
• memcached in Facebook
  • マルチスレッド化、新Cクライアント、新バイナリプロトコル
  • memcached proxy
  • 20Mリクエトスト中MySQLサーバまで届くのは500K(2.5%程度)。
  • データセンター間のMySQLのレプリケーションにmemcachedとの同期処理のための追加情報を埋めている
    • http://blog.facebook.com/blog.php?post=7899307130

Backup

• MySQL 6.0でBackup周りが一新される
• non-blocking Backupに期待

各サービスのスケール感

YouTubeは去年に比べると口が硬くて面白くありません。

	How many servers	Number of DBAs	How many web servers	Number of caching servers	Version of MySQL	Language	platform Operating System
MySQL	1 Master, 3 Slaves	1/10	2	2	5.1.23	Perl,php and bash	Linux fedora
Sun	2 clustered, 2 individual	1.5	160+	8	5.0.21	Lots of stuff (java mostly)	Open Solaris
Flickr	166	At present 0	244	14	5.0.51	Php and some Java	Linux
Fotolog	140 databases on 37 instances	10 instances 1 DBA	70	40 ( 2 on each, 80 total)	?	Php -> Java	Solaris 10
Wikipedia	20			40 ( 2 on each, 80 total)	Php, c++, python	Fedora / Ubuntu
Facebook	30000 (1800 db servers)	2	10,000	805	5.0.44 with relay log corruption patch	Php, python, Java and enlang	Fedora / RHEL
Youtube	cannot say	3	n/a Corp. policy	n/a	5.0.24	python	SuSE 9

• Facebook: 260億枚の写真、毎秒25万リクエスト(写真だけで)

ペタバイトの世界

• Stanford Linear Accelerator Centerの人によるサイエンス方面で、以下に大量のデータが生成されているか、という話。20PBのデータベースなんて、相当にチャレンジング。
• Moore's lawをもってしても、当面は解決が困難な問題が目白押しで楽しそう
• Astronomy
  • Sloan Digital Sky Survey
  • 50+ PB images, 20+ PB database
• NASA: Earth Observing system
  • 4 PB / year
• Genomics
  • Multi petabytes

もろもろTips

• MySQL master on DRBD
• Backup using LVM snapshot
• Benchmarking
  • mysqlslap他
• Monitoring
• 管理用ツール
  • maatkit, mysqlsla, mysqlreport, mysqldumpslow
• DBSlayer
  • SQL QueryをJSONで返してくれるDBラッパー

まとめ

• Sunに買収されたけど、当面は心配はいらない(たぶん)
• 新しいストレージエンジンはけっこう期待できる。特にMaria
• memcachedの連携が進むと、より使い勝手が良くなりそう
• 一年に一度は世の流れを感じるのは価値がある
• High Performance MySQL, Second Editionがもうすぐ出る → 買うべし

*1:会場も天気も去年と同じなので、写真は去年のを流用してます