Googleを支える技術 ‾巨大システムの内側の世界 (WEB+DB PRESSプラスシリーズ)

著者 : 西田圭介

• 技術評論社 (2008年3月28日発売)

感想・レビュー・書評

[hiropon1009さんの感想 · 2011年7月8日]

最初に本書の内容はほぼ全てgoogleの発表した論文にあり、英語が読めない人にとってはいい本。
googceのシステムがどのようにして、分散化システムを構築し、そのハードウエアの持てるパワーをいかにひきだしているかがわかる。Googleの検索能力の早さは使用している人ならわかるが、それを支える技術力というのは想像を絶する。
中でも興味深いのは、Googleは
一度検索するとコーヒー2杯分のお湯が沸くといわれるほど電力消費が激しいと言われているが、そのサーバの電力は緻密に計算された上での、最低限の電力消費であり、最高に高いの電力効率で運営されている事がわかる。

[okunojiさんの感想 · 2011年6月6日]

物凄く勉強になった。
と同時に焦りを覚えた。
このままじゃダメでしょう私たち。

[kiy271さんの感想 · 2011年5月18日]

インデックスの話などは押さえておきたい。（転置インデックスなど）
・当然だが、大規模化したシステムとそうで無いシステムは大きく違う。その典型が、GFSとwork queue
cpuバウンドな処理はwork queue 、ioバウンドな処理はGFSというように、スケールアップなシステムを作る。
・Googleなど大規模システムでは、①ソフトウェアでの信頼向上②大量なハードウェアでの負荷分散③コストパフォーマンスの高い安価なハードウェアという観点で大規模システムを作っている。
やはり、ソフトウェアのスキルが重要。
・gfsの概要が理解できた。大規模システムにはなくてはならない、ネットワークファイルシステムだと感じた。冗長性や、スケーラビリティ技術が興味深い。チャンク単位での取り扱いや、マスターの動きなど興味深い。そういったシステムに自分も触れてみたい。
・大規模システムでは、レガシーなスキル、知識も大事だが、大規模を想定した自動運用などの工夫がかなり重要になってくる。そう考えると、今までの手法は通用しないことがよくありそうだ。
・分散dbのbigtableは興味深い。
クライアントはライブラリ経由でのアクセスで、抽象化されたアクセスを行う。唯一のロックが行ロックのようなことらしい。blob型のようなことらしい。xmlデータベースともちかいのかなぁ？
・bigtableのアルゴリズムが難しい。一度で理解できない。最大容量は2EBらしい。
・chubbyという分散ロックサービスがあるらしい。gfsやbigtableの機能を支える基盤技術のようで、排他制御を実現するみたい。また、分散ファイルシステムであり、変更がすぐに反映されるため、dnsサービスとしてもしようしているみたい。
・hadoopのところは興味深い。map とreduceの概要があり、これからどんどん勉強していきたい。
sawzallという分散処理で使われる言語があり、共通化が行われている。rdbmsのsqlみたいなもの。
・プロトコルバッファという、共通のプロセス間通信の仕組みがあるらしい。
・大規模分散システムはとても興味深い。hadoopとか、本当に勉強していきたい。hdfsやpigなどは、googleの分散処理システムのオープンソースプロジェクト。
・電力消費の説明は説得力がある。cpuは最大の消費で大体半分前後を占めているみたい。以前の自分で測定した時のものをみて納得。
『パソコン起動時稼働時80〜100W程度 アイドル時60W前後 電源オフ 5w
パソコンプライムPC
電源オフ 0w フル稼働 89w』
・動作クロックを上げるのは消費電力に大きな影響を与えるらしい。パフォーマンスを20%上げるには1.2*3乗で1.78倍の電力消費になるという話。故に、クロック周波数を上げるのは限度があり、マルチコアCPUの流れにいっている。
・電力消費のところはとても詳しく、かつ、計測データを用いた説得力あるせつめいだとおもった。また、実際の機器のデータシートを元にした電力見積もりと、最適化した電力設備設計ではコストが二倍ほど違うというのも、感心した。
・節電対策としてのクロック周波数のコントロールは確かに有効みたい。実際の変化を計測してみたいものだ。
・hddの故障頻度は温度や読み書き頻度に影響のあるという通説は、疑って見る必要があるらしい。また、smartで障害の予兆は多少分かるみたいだが、それでも64%程度で、残り36%はなかなか予兆がないみたい。なので、壊れても大丈夫なようにシステムを組んでおくことが大事

・全米のデータセンターのスケールにはテンションがあがる。ひとつのさいとあたりに、何十万台という規模のよう。

[hiromizu805さんの感想 · 2011年4月29日]

Facebookは映画ソーシャルネットワークを見て、その生い立ちを理解したが、Googleについてはほぼ毎日使っている割には、その仕組みを知らなかったので読んでみた。先日、欧州出張の際、ネット接続条件が悪い中Googleだけはそこそこ動いた記憶があったが、Googleシステムの強さの舞台裏の一部を本書で知ることができた。
また、後半、消費電力の話が出てきたのは、今後のITインフラの課題の一つを垣間見ることができ、印象に残った。

[hikalin8686さんの感想 · 2011年3月30日]

世界最大規模のWeb企業であるGoogleともなると、その規模の大きさから様々な面で特別な配慮をしなければならなくなる。数十万台にもなるサーバの性能を引き出し、また冗長性を保つためのGFS,Bigtable,Chubby,MapReduceなどの分散処理ソフトウェアの解説や、それらサーバの電力消費量を下げるための工夫など、タイトルの通りGoogleを支える技術が上手くまとまっている。
読み物としても十分おもしろい。

[taogasawさんの感想 · 2011年3月29日]

参考にはなる本ですね。詳細な技術説明がほとんどなので、正直半分程度しか理解できませんでしたが…ただ、概念というか大まかな思想と構成はよくわかりました。こういう観点で書かれている本って少ないので、希少な情報ではありますね。Webの中の人はたしなんでおくべきかと。SEOなんかのヒントになることもありそうな。

[Kanameさんの感想 · 2010年12月27日]

若干真偽不明のところはありましたが、Google社の戦略を垣間見ました。
一定レベルの数を超えると情報工学プラス経済学に成るんですね。ただパブリッククラウドのハイタッチな事実は使う側も知っておくべきと感じました。

[ochi0218さんの感想 · 2010年12月6日]

googleの技術に触れた気がしました。

[kotamishimaさんの感想 · 2010年10月31日]

Googleのシステムのすごさを感じると同時に、その自動化された機能は映画「Matrix」みたいな感じを覚えました。久しぶりに、システムの本を読むと、こういう分野はまだまだ面白い。

[zorioさんの感想 · 2010年10月19日]

検索システム、GFS、BigTable、 MapReduceの解説等。

著者プロフィール

西田 圭介　Keisuke Nishida
フリーランスのソフトウェアエンジニア。著書に『Googleを支える技術　巨大システムの内側の世界』（技術評論社、2008）、『ビッグデータを支える技術　刻々とデータが脈打つ自動化の世界』（技術評論社、2017）などがある。

「2022年 『ゲームから学ぶAI ——環境シミュレータ×深層強化学習で広がる世界』 で使われていた紹介文から引用しています。」