公開資料からかいま見えるGoogleのコンピュータシステム

先週後半は2日続けてGoogleのIPO批判をしたが、今日も引き続きGoogleの話題を取り上げる。

その前に少しだけ、先週の議論を補足しておきます。

経営がうまくいっているとき、今のGoogleのように会社がノリに乗っているときというのは、大抵どういうコーポレート・ガバナンスでも会社はうまくまわります。問題は悪くなったとき。Googleのような会社が、いったん何かの理由で躓いた場合にどんな雰囲気になるのかというのは、そういう状況にはまだ誰も直面したことがないので、ちょっといま想像がつきません。しかしそんな未経験の状況を想定して、どういうガバナンス構造にしておくのがよいか、ということを、少し保守的に考えておくべきではないだろうか、というのが僕の論点です。

Googleが何によって躓く可能性が高いかといえば、それはエンロンのような不正や欲に関わるものによってではないと思います。ボードも含めた経営陣による「経営的な大失敗」というようなものでもないと思います。Googleが躓くとすれば、創業者たちを含めたGoogleを構成する人々のモノの考え方(思想、発想、当たり前に感じているゆえの無意識の行為)と、我々の社会通念が、どうにも互いに相容れないという状況が生まれるときのような気がします。このことについては、おいおいまた考えが深まったときに書きます。

さて本題に入ります。

Googleの技術力は追撃可能

本欄4月6日「Googleの本質は新時代のコンピュータメーカ」で、Rich SkrentaのBlog「The Secret Source of Google's Power」をご紹介したが、このBlogには、コメントが140、トラックバックが191もついている。いかにこのBlogがアメリカでも反響を呼んだものだったかを示す証座であろう。

約1カ月遅れではあるが、Googleの競争力がそのコンピュータシステムにあるのではないかということを、New York TimesのJohn Markoffが5月3日に書いている。「Why Google Is Peering Out, at Microsoft」という記事である。

「Clearly, one of Google's principal challenges will be how well it can defend itself when competitors like Microsoft or Yahoo begin copying its computing system and offering similar services.」

要は、YahooとMicrosoftが、Googleのコンピュータシステムと同じようなものを作ったうえで、同じようなサービスを提供してきたらどうする? という問題提起である。

本欄4月15日「Googleの独自技術はどこまで汎用的で競争力があるのか」の最後で、

「「Googleの本質は新時代のコンピュータメーカ」を書いて以来、僕が今も引き続き悩んでいるのは、(1) 「さぁこれからカネに糸目をつけずにGoogleを追いかけるぞ」と競争者が決めたときに、このGoogleのブラックボックスは、どのくらい先行しているものなのか? という問題。(2) Googleの新しいコンピュータは確かに凄い代物だが、Rich Skrentaが「a massive, general purpose computing platform for web-scale programming」と言うように本当に「general purpose computing platform」なのであろうか? という問題。つまり、特殊な目的に合致した凄い性能を出すコンピュータというのは、歴史的にみていくつも存在したが、Googleのコンピュータにおける汎用性の度合いがどの程度なのか? という問題。この2つについては、残念ながらまだ、自分なりの答が見出せていない。」

ということなのだが、「汎用性の度合い」についての考察には、残念ながらまだ進展がない。ただ、「競争力」の問題については、やはりそういうコンピュータシステムを作ることが重要だということがわかり、それをどう作ればいいのかがわかれば、Yahoo、Microsoftもまだ追撃可能なのではないか、とも思う。Yahooは、買収したOverture等の検索エンジン関連技術開発者を総動員して、Googleライクのバックエンドシステムの構築に余念がないらしいし、Microsoftだってその底力を侮ってはいけない。5月7日に書かれたGoogleの傲慢さを批判する「Street Fight」(By Andy Kessler)では、これからのグーグルを巡る競争について「グーグルがコンピュータシステムを作るのにこれまでにかけたカネは、競争者にとっては誤差範囲の数字だ」と、こんなふうに書いている。

「Google has spent $258 million on information technology to put together their search network. That's a rounding error at Microsoft. Guys like Yahoo, Ebay, Amazon, and heck, even TimeWarner/AOL (remember them?) are trying to take Google out.」

そう、確かにカネの問題ではない。しかし、現時点での競争力については、John Markoffが、Danny Hillisにインタビューした通り、

「In doing so, Google has created a capability to provide many kinds of services and applications that other companies will not be able to compete with because of their scale, according to Danny Hillis, chief technology officer at Applied Minds, a technology consulting firm.」

Googleのコンピュータシステムの競争力はかなり高いと言っていいだろう。問題は、ブラックボックスになっているこのシステムの中身の凄さということになる。ここは誰にもまだよくわかっていない部分だ。

そんなことを考える一助として、「実際にGoogleのコンピュータシステムって、どのくらい大きいものなの?」 という話について面白いBlogを見つけたので、ご紹介しておこう。

公開資料からかいま見えるGoogleのコスト構造

TNL.Netの「How many Google machines」である。Googleが株式公開計画をSECに登録したので、これまで知られていなかった情報が外に出てきた。

「An interesting tidbit coming out of the Google S-1 filing is that they have spent about $250 million on hardware equipment. From there, we can get a few guesses at the magnitude of the Google system. Based on quick back of the envelope calculations, it looks like Google is managing between 45,000 and 80,000 servers. Here's how I arrived at this conclusion:」

S-1資料によれば、Googleがこれまでに投じたシステムコストは、ハードウェア機器に対して2億5000万ドル。そこから、今Googleは4万5000台から8万台のサーバーを管理しているのではないかと推測している(グーグル創業者たちが、公開しても秘密主義を貫きたい理由がよくわかる)。僕も10万台とかいう数字を使って、これまでに何度か書いてきているが、それはすべて推測の数字に過ぎない。

TNL.netは、試算の根拠を以下に述べている。

IEEEの論文「WEB SEARCH FOR A PLANET: THE GOOGLE CLUSTER ARCHITECTURE」のデータも拠り所にして、

「According to calculations by the IEE, in a paper about the Google cluster, a rack with 88 dual-CPU machines used to cost about $278,000. If you divide the $250 million figure from the S-1 filing by $278,000, you end up with a bit over 899 racks. Assuming that each rack holds 88 machines, you end up with 79,000 machines.」

「a rack with 88 dual-CPU machines」のコストが27万8000ドル。2億5000万ドルを、その単価で割れば、899ラックと計算される。ならば79000台だ。

「However, one must recognize that equipment is not all CPUs. As a result, you must discount the figure of $250 million to account for routers, firewalls, machines for employees, etc... So let's assume for a minute that only about $200 million is going to the CPUs. That still leaves us with 719 racks or a bit over 63,000 machines.」

でもハードウェアの全部がCPUであるわけがないので、2億5000万ドルから他の機器の分を差し引き、2億ドルはCPUに行ったと仮定すると、719ラックで6万3000台となる。そして、もし他のハードウェア機器コストがもっとかかっていて、CPUコストが1億ドルだったら、359ラックで3万1654台。

そして、再び論文からのデータによれば、

「Well, once again, the Google cluster document provides some interesting tidbits. Per the document, the racks that were used were 88 dual-CPU 2Ghz Intel Xeon servers with 2 Gbytes of RAM and an 80-Gbyte hard disk.」

なので、CPUを最も多く見積もった場合から、最も少なく見積もった場合までの3つのシナリオを並べるとこうなる。

「899 racks, 79,112 machines, 158,224 CPUs, 316,448 Ghz of processing power, 158,224 Gb of RAM, 6,180 Tb of Hard Drive space」(ハイエンド・シナリオ)

「719 racks, 63,272 machines, 126,544 CPUs, 253,088 Ghz of processing power, 126,544 Gb of RAM, 5,062 Tb of Hard Drive space」(ミドルレンジ・シナリオ)

「359 racks, 31,654 machines, 63,184 CPUs, 126,368 Ghz of processing power, 63,184 Gb of RAM, 2,527 Tb of Hard Drive space」(ローエンド・シナリオ)

ローエンド・シナリオとしても、世界最高速のスーパーコンピュータ以上であると、このBlogでは結論付けている。

さて、この数字は、かなり粗っぽい計算によって導き出されている「the envelope calculations」であるが、こうして具体的な数字が出てくると、少しはイメージがつかみやすいかもしれない。さて、「これと同じものを、できるだけカネをかけずに作れ」という号令がかかったと仮定して、誰がどのくらいの時間で、同等またはより良いものを作れるのだろう。そして、その間に、Googleはどこまで先に走っていけるのであろうか。