のた犬のうまい猫めし

どら猫が作る、のた犬のための飯、略称、どら飯について語りつつ、各種技術、経済系セミナーに参加した報告、OSSいじってみた等のネタを入れていきます。更新情報はtwitterの@nota_inuにて。

db tech showcase 2014 Tokyo「楽天のデータベースアーキテクチャ史」楽天 湯之上一樹氏


プライベートクラウドデータベース

 

  • ある時、楽天のDBがピンチに。必然的にプライベートクラウドにたどり着いた。
  • VCS時代:MySQL冗長化構成。SAN。創業-2000年代中ほどまで。1つのスパークサービスに複数のDBインスタンス。影響が各方面に波及する構成。共用で調整が複雑。リソースの空きが限りなく少ない。
  • 上場後にサービスが増え、VCSレプリケーション型。VCSシャーディング型。
  • 楽天スーパーセールで圧倒的なパフォーマンスが要求された。→IA+SSD時代へ。システム改修を加えずにパフォーマンスを獲得。VCS+IA+SSD型へ。IA+SSDカスケード型で3時間の処理を10分に。
  • スペック、数年後のトレンドが予測できない。構築に時間がかかる。全体的にオーバスペックでCPU、メモリをつかえていない。管理が複雑に。
  • 81%がMySQLOracleが10%。現在、70%がプライベートクラウド。Rakuten Infrastructure as a service(RIaaS)。高速ネットワーク、マネージドコンピューティング。OSイメージからChefでインストール、微調整をすればよいので構築が簡単に。セットアップ済みMySQLVM(各種ツールモニタリング、バックアップつき)。
  • HA:数分以内で復旧。サービス再稼働。
  • LVMによるオンラインディスク拡張。(MySQL一切停止なしで。)キャパシティプランニング(これまで数か月かけていた)が不要に。バックアップ:OSイメージごと一瞬で。全く同じもの(ある瞬間の)を復旧可能。
  • セール前の緊急増強が可能に。
  • フラッシュストレージも選択。スループットはIA+SSD型に匹敵。気軽にストレージプランを変更できることで必要最低限のスペック。
  • 問題:ストレージのエンジン次第ではリカバリが必要なのが困るところ。IA+SSD時代よりもフェイルオーバに時間がかかる。仮想環境で、他ホストからの影響がゼロではない。(リソース最適化が仮想プラットフォーム上で追いつかない。)トラブル調査が仮想独特な問題へも発展。
  • クラウドデータベース:あらゆるビジネス、システムの要求に迅速にこたえる唯一の方法か。


プライベートクラウドサービス

 

  • IA+SSD時代のDBA:古典的なチケッティングシステム、Officeやテキストで情報管理、作業はシェルやPerl。スピードや柔軟性が欠如。ウェブアプリの急速な発展、NoSQL、アジャイル、デプロイメント手法の発展で求められるスピードが短く。迅速かつ多様な要望へ。
  • 2012年、Webインタフェースを自作。(テーブルのコピーを行う。)業務フローの整備、プロダクト統一、工数削減。(Officeがなくなる。)すべての業務の再定義中。顧客の利用数、満足度が業務の指標へ。
  • ALMOND:MySQL Monitoring Service。メトリクスをグラフィカルに表示。メール、チャット、電話で通知。fluentdベースでオリジナルプラグインを作る機能。fluentd+HTTPで場所を選ばないマルチプラットフォームphpmyadminも。Clustrix as a service。
  • クラウドサービス(グローバル化におけるDBA:アクセシビリティ、ビジネスフロー複雑化、価値の明示、提供。あなたの仕事 as a serviceを探す。どれだけ訴求できているか。