読者です 読者をやめる 読者になる 読者になる

MySQL Conference 2008に行って来た

今年もMySQL Conference 2008に行ってきました。社内向けの報告資料と雑多なメモですが、よろしければ参考にしてください。

*1

概要

  • MySQLがSunに買収されて始めてのConference
  • 8セッション並列で、OSCONの規模にだいぶ近い
  • MySQLが扱うトラフィック量・データ量がどんどん大きくなってきており、それにどう追従するか、という観点の話が多い

買収の話とか

  • "MySQL、新機能追加は有償版の「MySQL Enterprise」だけを対象に"というのは、かなりミスリーディングな記事
  • 実体は一部のセキュリティ形の機能やnative storage engine-specific driverをMySQL Enterpriseとして出す、という話
  • Backup機能や、Falcon, Mariaといったストレージエンジンの開発では、Community ServerとEnterpriseのCode baseは統一されたままになると思う

GoogleFacebookでのMySQL

Google
  • GoogleInnoDB改善の専門チームがある
    • 8core, 128GBといった大きいサーバでの並列性能を改善
    • 検索システムでは使ってない
  • 思っていたより、GoogleMySQLのヘビーユーザらしい
Facebook
  • Webサーバ 10,000台、DBサーバ 1,800台だそうな
  • 世界で一番のMySQLのヘビーユーザではなかろうか

次期ストレージエンジン

Maria
Falcon
  • InnoDBの代替ではないと言っているけど、代替としか思えない
  • InnoDBより大規模なサーバでの性能を改善
  • Googleが改善しているInnoDBと張り合えるかどうか

memcached

Backup

  • MySQL 6.0でBackup周りが一新される
  • non-blocking Backupに期待

各サービスのスケール感

YouTubeは去年に比べると口が硬くて面白くありません。

How many servers Number of DBAs How many web servers Number of caching servers Version of MySQL Language platform Operating System
MySQL 1 Master, 3 Slaves 1/10 2 2 5.1.23 Perl,php and bash Linux fedora
Sun 2 clustered, 2 individual 1.5 160+ 8 5.0.21 Lots of stuff (java mostly) Open Solaris
Flickr 166 At present 0 244 14 5.0.51 Php and some Java Linux
Fotolog 140 databases on 37 instances 10 instances 1 DBA 70 40 ( 2 on each, 80 total) ? Php -> Java Solaris 10
Wikipedia 20 40 ( 2 on each, 80 total) Php, c++, python Fedora / Ubuntu
Facebook 30000 (1800 db servers) 2 10,000 805 5.0.44 with relay log corruption patch Php, python, Java and enlang Fedora / RHEL
Youtube cannot say 3 n/a Corp. policy n/a 5.0.24 python SuSE 9
  • Facebook: 260億枚の写真、毎秒25万リクエスト(写真だけで)

ペタバイトの世界

  • Stanford Linear Accelerator Centerの人によるサイエンス方面で、以下に大量のデータが生成されているか、という話。20PBのデータベースなんて、相当にチャレンジング。
  • Moore's lawをもってしても、当面は解決が困難な問題が目白押しで楽しそう
  • Astronomy
    • Sloan Digital Sky Survey
    • 50+ PB images, 20+ PB database
  • NASA: Earth Observing system
    • 4 PB / year
  • Genomics
    • Multi petabytes

もろもろTips

  • MySQL master on DRBD
  • Backup using LVM snapshot
  • Benchmarking
    • mysqlslap他
  • Monitoring
  • 管理用ツール
    • maatkit, mysqlsla, mysqlreport, mysqldumpslow
  • DBSlayer
    • SQL QueryをJSONで返してくれるDBラッパー

まとめ

  • Sunに買収されたけど、当面は心配はいらない(たぶん)
  • 新しいストレージエンジンはけっこう期待できる。特にMaria
  • memcachedの連携が進むと、より使い勝手が良くなりそう
  • 一年に一度は世の流れを感じるのは価値がある
  • High Performance MySQL, Second Editionがもうすぐ出る → 買うべし

*1:会場も天気も去年と同じなので、写真は去年のを流用してます