Google Scalability Conference メモ

http://www.25hoursaday.com/weblog/2007/06/25/GoogleScalabilityConferenceTripReportMapReduceBigTableAndOtherDistributedSystemAbstractionsForHandlingLargeDatasets.aspx

200のGFS(GogleFileSystem)クラスタと5000のマシンがあって、5ペタ(10^15)バイトのデータを格納し、40GBytes/Secのスループットを出してる。

超でかいデータ列を取り扱ったりするときに便利なインタフェイスがMapReduce

BigTableはGFSなどの下位にあってストレージを支える重要な低位レイヤで、ほとんどのアプリケーションがその恩恵を蒙ってる。

  • 現在行っているチャレンジ
    • support for geo-distributed clusters 地理的に離れた遠隔クラスタシステム
    • single global namespace for all data since currently data is segregated by cluster クラスタによって分離されるグローバルな単一の名前空間
    • more and better automated migration of data and computation より自動化されたデータと演算処理の移行機能
    • lots of consistency issues when you couple wide area replication with network partitioning - 一貫性のある同期と分離機構

まとめ

状況的にはいろいろハードだったけど、行ってよかった。本当によかった。こんな素晴らしいイベントに一参加者とはいえかかわれたことが嬉しい。

あとは胸張って、Rubyist と名乗れるようになりたい。いや、ならなきゃ。いや、なる。
明け方に睡眠不足で、推敲もしてない文章を書いてしまうこととかは気にしない。

2日目

懇親会

  • たださんの日記曰く、食べ物が一瞬でなくなるのはデフォ、らしい。待ち行列の凄まじさも、懇親自体の素敵さの前では概ねどうでもよい。
  • MySQL界隈で有名な とみたまさひろさんとお話できて嬉しかった。長野にお住まいとのことなので、「名古屋田舎でうぜー」とか愚痴ってる場合ではない、と少し反省した。己の未熟さを地理的要因のせいにしてはいけない。とりあえず、再来週のOSC.DBには行くことにした。
  • 今回の神ロガーともいえるzundaさんとお話した。ハワイすごいよハワイ。編集のお手伝い、出来るとよいのだけど<引っ込み思案
  • 青木峰郎さんの人当たりのよさに惚れる(でも遅刻はイクナイ)。「ふつうのコンパイラ」「ふつうのCPU」「ふつうのハードウェア記述言語」など期待してます♪
  • 他にもいろんな人とお話できて、すごく嬉しい。これでしばらくはモチベーションが維持できそう。

1日目

  • まつもとさんが基調講演で「はるばる着てくれたTimに感謝」的なことを述べたにもかかわらず、Timのセッション中に途中退場な様に驚愕した。ある意味予想の範囲内。
  • JRubyのセッションの質疑応答がみんな英語。「日本語でおk」とか言われても悉く英語。泣きたくなってきた。
  • 田中はびえさんが元気そうでほっとした。
  • あまりのレベル差にいたたまれなくなって、「練炭どこで売ってたっけ?」などの考えもよぎったが、進行するにつれて楽しくなってきた。やっぱり愛だよ。Rubyもコミュニティも寛容さと愛だよ。
  • dRuby&Rindaのお話。未だに幸福の王子本が初版だというのが信じられない。dRuby大好きだし、すごくいい本なのに。でも、dRubyの素晴らしさが各セッションにそこはかとなく含まれていた上に、会場即売でも売切れていたのでいい感じではないかと思いたい。
  • 超入手困難なRHG(Ruby Hacking Guide)が書籍コーナーに! 超レア本だけに、購入できた人は幸せだ。自分は近所の本屋で偶然入手できたので問題なし。
  • 「コンピュータアーキテクチャのエッセンス」は買おうと思う。

Ruby会議2007]に参加のため東京。
懇親会は非常に楽しく、楽しみのうちの90%くらいは満たされた気がする。
Daveさんサブテク入れられるし。

それにしても速報ログのクオリティは神杉。zundaさん、お疲れ様です。

睡眠不足とネットカフェ難民中であることにより、とりあえず寝り。
起きられるかどうかは微妙だけども明日を楽しみにして消灯。