情報理論 (ちくま学芸文庫 ア 35-1 Math&Science)

著者 : 甘利俊一

• 筑摩書房 (2011年4月8日発売)

作品紹介・あらすじ

クロード・シャノンが記念碑的論文「通信の数学的理論」を発表したのは1948年のことだった。それから60余年-今では情報理論は情報通信のみならず、生命科学や脳科学、社会科学など幅広い分野に応用されるようになっている。情報理論は高度な数学を用いているが、"大数の法則"をおさえることでその本質がすっきりと見えてくる。シャノンのアイディアから情報幾何学の基礎までを、初学者にもわかるよう明快に解説、情報理論の考え方と仕組みを直観的に理解するための、第一人者の手による入門書。

感想・レビュー・書評

[TaHiさんの感想 · 2023年11月12日]

甘利俊一「情報理論」読了。あらゆる情報をネットワークを介して入手できる便利な世の中になったものだと思う。ふとそういえばそもそも情報通信とは何なのか知りたくなって本書を手に取った。数式が多く理解は難しかったが、著者のべらんめえ的なノリに読み物として楽しめた。大数の法則に基づくシャノンの理論に触れてより興味が深まった。

[金沢大学附属図書館 Kanazawa University Libraryさんの感想 · 2024年1月16日]

#図書館員の推し事(おしごと)企画/「ゆるコンピュータ科学ラジオ」を推す！

金沢大学附属図書館所在情報
▼▼▼▼▼
https://www1.lib.kanazawa-u.ac.jp/recordID/catalog.bib/BB05323551?caller=xc-search

[あさんの感想 · 2024年1月13日]

記録

[鈴華書記さんの感想 · 2023年4月27日]

情報理論の教科書として有名で，教科書として優れていることは言うまでもないのだが，使い方には工夫が必要。読み物にしては計算が多く教科書にしては砕けすぎている感じで，必要に応じた読み方が要求される。個人的には，前半の離散パートは今井『情報理論』と併用，後半の連続パートは本書を起点に情報幾何学の学習も視野に入れて学習する。

[pnictideさんの感想 · 2022年8月11日]

文庫本サイズなので、数式を使わない概念的なお話が展開されるのかと思いきや、ゴリゴリ数式と図を使って情報理論の説明がされていたので、少し驚いた。内容はハードカバーの教科書だが語り口が少し柔らかめなので感覚的な理解はしやすい。1-4章は自身が以前見た情報理論の教科書に書かれたベーシックな内容とほぼ同じであったが、5章は通信路を写像の概念を用いて捉え直し、説明している点が面白かった。情報幾何への導入にも良いかも。

[aokikenichiさんの感想 · 2020年2月22日]

論理的に説明を進めながら章末に「雑談」として柔らかい話での緩急はよいと思うが
情報や通信のバックグラウンドというか関心が薄いと読んでいくの辛いかな
必要になったときに読み返すのだろう

[豊橋技術科学大学図書館さんの感想 · 2019年10月2日]

系推薦図書　総合教育院
【配架場所】　図・３F文庫新書　ちくま学芸文庫
【OPACへのリンク】
https://opac.lib.tut.ac.jp/mylimedio/search/book.do?target=local&bibid=188967

[別府さんの感想 · 2019年7月24日]

著者：甘利 俊一 ［あまり・しゅんいち］(1936-)　数理工学（神経回路網理論、情報幾何学）。
カバーデザイン：竹智 淳
初出：『数理工学』（昭和43年5月〜44年9月）

【目次】
まえがき（1970年8月　甘利俊一）　[003-004]
目次　[005-007]

第1章　情報の数量的認識　011
第1節　情報量とエントロピー　011
1.1　情報の量をいかに定めるか　011
1.2　エントロピー　018
1.3　複合事象のエントロピー　024
1.4　条件付エントロピー　029
1.5　相互情報量　035
1.6　雑談　041

第2節　情報源　047
2.1　情報源のモデル　047
2.2　マルコフ的情報源　054
2.3　情報源の冗長度　065
2.4　情報源の大数の法則　070
2.5　情報源のエルゴード性　078
2.6　雑談　083

第2章　雑音のない通話路による情報伝送　089
第1節　雑音のない離散通話路　089
1.1　情報伝送のモデル　089
1.2　雑音のない通話路の容量　092
1.3　雑音のない離散通話路の符号化定理　099
1.4　雑談　106

第2節　符号化による冗長度の除去　107
2.1　符号化と冗長度の除去　107
2.2　簡単な符号化　111
2.3　最適な符号化法　120
2.4　雑談　123

第3章　雑音のある通話路での情報伝送　125
第1節　雑音のある離散通話路の容量　125
1.1　雑音の妨害下での情報伝送量　125
1.2　通話路容量　132
1.3　雑音のある通話路を用いた誤りのない情報伝送　138
1.4　雑談　146

第2節　誤り訂正符号　149
2.1　誤り訂正の仕組み　149
2.2　Hamming距離　155
2.3　Hamming符号　157
　　A. 符号
　　B. 符号化法
　　C. 誤り訂正能力
　　D. 誤り訂正の仕方
2.4　線形符号　165
　　A. 線形符号の定義
　　B. 線形符号の符号化法
　　C. 線形符号の復号化法
　　D. 線形符号の誤り訂正能力
2.5　巡回符号　175
2.6　雑談　182

第4章　連続情報と信号空間　187
第1節　連続信号のエントロピー　187
1.1　連続信号のエントロピーの定義　187
1.2　種々の信号のエントロピー　194
　　A. n次元信号のエントロピー
　　B. 一定領域上でのエントロピー最大の信号分布
　　C. 平均エネルギー一定でエントロピーを最大にする分布
　　D. 多次元正規分布のエントロピー
1.3　条件付きエントロピーと相互情報量　199
1.4　信号の変換とエントロピー　202
1.5　雑談　205

第2節　信号空間の構成　209
2.1　信号空間　209
　　A. 信号空間の座標
　　B. 信号空間よの座標変換
　　C. 正規直交系
2.2　標本化定理　215
　　A. 信号の周波数領域表示
　　B. 周波数帯域制限信号
　　C. 継続時間と周波数帯域の両方が制限されている信号
2.3　時間領域表示と周波数領域表示の間の関係　226
　　A. 時間と周波数の不確定性関係
　　B. 時間‐周波数の中間領域での信号の表示
2.4　雑談　237

第3節　連続通話路　242
3.1　連続通話路による情報伝送　242
3.2　白色ガウス雑音を発生する通話路の容量　247
3.3　連続通話路による誤りのない通信　253
3.4　雑談　260

第4節　信号空間の情報幾何学　264
4.1　信号空間の雑音と計量　264
4.2　リーマン的信号空間　271
4.3　信号空間の情報理論　275
4.4　雑談　282

第5章　信号空間の写像と通信系の理論　287
第1節　通信系の構造　287
1.1　通信系の構成　287
1.2　符号伝送系　293
1.3　連続写像を用いた通信系　298
1.4　量子化通信方式　300
1.5　雑談　304

第2節　連続通信系の理論　306
2.1　信号空間の挿入写像　306
2.2　信号空間の退化写像　315
2.3　退化写像による雑音構造の変換　322
2.4　最適退化写像　325
2.5　雑談　336

参考文献　[341-342]
文庫版あとがき　情報理論の現代における展開（2010年年末、那須の山荘にて　甘利俊一）　[343-345]
索引　[347-348]

[Στέφανοςさんの感想 · 2018年11月13日]

情報の数量的認識
雑音のない通話路による情報伝送
雑音のある通話路での情報伝送
連続情報と信号空間
信号空間の写像と通信系の理論

著者：甘利俊一(1936-、東京都、神経科学)

[塩川宏郷さんの感想 · 2014年7月5日]

素人には難しすぎました。読み終わったというか読むのをあきらめた、というのが正しいです。ここでいうコミュニケーションは、情報通信のことなのね。

著者プロフィール

甘利 俊一(あまり・しゅんいち)：1936年、東京生まれ。1963年東京大学大学院数物系研究科博士課程修了。工学博士。九州大学助教授、東京大学教授、パリ大学客員教授、ルーバン大学特任教授、理化学研究所脳科学センター長などを経て、現在は同センター特別顧問。東京大学名誉教授。専攻は数理工学(神経回路網理論・情報幾何学)。「神経情報処理の基礎理論の研究」により、1995年日本学士院賞受賞。文化功労者、文化勲章受章。著書に『情報理論』(学芸文庫M&S)、『脳・心・人工知能』(ブルーバックス)、『情報幾何学の新展開』(サイエンス社)ほか多数。

「2024年 『神経回路網の数理 脳の情報処理様式』 で使われていた紹介文から引用しています。」