日本語入力を支える技術　～変わり続けるコンピュータと言葉の世界 (WEB+DB PRESS plus)

著者 : 徳永拓之

• 技術評論社 (2012年2月8日発売)

作品紹介・あらすじ

膨大な変換候補の中からいかに最適解を導くか。

感想・レビュー・書評

[佐賀大学附属図書館（本館）さんの感想 · 2021年3月11日]

佐賀大学附属図書館OPACはこちら↓
https://opac.lib.saga-u.ac.jp/opc/recordID/catalog.bib/BB0821509X?caller=xc-search

[YABUKI Yukiharuさんの感想 · 2019年7月29日]

とても良い本で、題名が当を得ている内容であるし、2012年の段階でこれだけ機械学習の技法を含めた、日本語入力の技法が紹介されていて、何かを作りたくなる本である。

が、しかし実際に2019/07の時点で、作ろうと思うと実践するに良いフレームワークはないので、既存のプログラムを解析するというまえに、本書の中で軽く触れてある部分をがっちりと読みこなさなくてはならない。

例えば、ximのことは、xlibを参照するわけだが、その辺の技術書は歴史的過去とされていて情報収集から始めなくてはならない。とはいえ、その辺まで、この本の範囲としてしまうと、書き終わらないだろうし、仕方ないのかも知れない。

[koishi-2018-pcさんの感想 · 2019年1月12日]

ケータイで日本語入力をした後、PCを使うと少し物足らない感じがします。
ちょうど、自動ドアのないコンビニの入り口に　立った時のような・・・。

Google日本語入力がレベルアップしたらしいので、
これまで使っていた　日本語入力　MS IME　から　変更しました。
　⇒　URLはこちら　http://sea.ap.teacup.com/pasobo/978.html　『Google日本語入力を再び使い始める！』　：　　〜　Ｍｙブログ「パそぼとベルルのあれこれフリーク」

そんな時に　この本を知ったので、これから読んでみます。

内容は、難しい専門的なもの。
がんばって　初めから　３．３まで読んで、後は読み飛ばし、「６章日本語入力のこれから」を読みました。
この本に書かれていることは、今　研究し、実践されている最先端のことも多く含まれています。
　理解は・・・無理です。(^^ゞ
以前から　日本語入力ができることは　すごいことだと思っていた。
反面、実際にパソコンに入力していて、IMEがなんか変だったり　お馬鹿だなぁと思うことも多い。
それが、日本語入力システムの採用している技術の課題だったりすることも　少しわかった。

今後は、文字入力のときに、どんな変換をするのか、辞書の学習の成果は？
　など　PCの日本語入力システムの反応をみるのも　楽しみになってきました！

電脳会議　VOL148に紹介された本。
　→　http://gihyo.jp/book/pickup/2012/0035 新たな技術が続々と取り込まれている日本語入力のいま

2012/6/22　予約　8/18　借りる。8/30　読み始める。9/4　読めるところまで読み終わる。
2017/3/13　再予約　3/18　再借り　（前に読んだことをすっかり忘れていた）（^o^ゞ;

[sazanamiさんの感想 · 2018年12月30日]

computer
ことば

[tetitoさんの感想 · 2016年6月18日]

NLP系の本は敷居が高くて敬遠していた。
しかし、少しづつこの辺を理解できるようになってきたし、
ちょっと検索などでN-Gramや辞書などを知る機会があったりNLPerとの交流などを経験して、ついに読んでみた。

日本語入力における処理の問題や様々なグラフの考え方、ビタビアルゴリズムなど、以前に比べてだいぶすっと入ってくるようになった。

SVMや構造化SVM、CRFなどについても詳細に言及されていて良書。
まあ、執筆陣を見てもそれは伝わるか。
とりあえず、自身の成長を少しだけ感じられて良かった。

■目次
★第1章　日本語と日本語入力システムの歩み
1.1　コンピュータで日本語を扱うということ
1.2　日本語を入力するということ
1.3　日本語入力とかな漢字変換
1.4　日本語入力のはじまり
1.5　かな漢字変換のはじまり
1.6　単文節変換から連文節変換へ
1.7　2強時代の到来～統計・機械学習ベースのアルゴリズムへ
1.8　Web検索各社のかな漢字変換エンジンへの参入
1.9　携帯電話における日本語入力
1.10　まとめ
★第2章　日本語入力システムの概観
2.1　ユーザ側から見た日本語入力
2.2　システム側から見た日本語入力
2.3　ひらがなの入力方法
2.4　文字入力フレームワークのアーキテクチャ
2.5　かな漢字変換エンジンのユーザインタフェース
2.6　かな漢字変換エンジンのモジュール構成
2.7　かな漢字変換器の作り方
2.8　まとめ
★第3章　かな漢字変換エンジンに用いられるデータ構造
3.1　かな漢字変換とデータ構造
3.2　データ構造とは
3.3　かな漢字変換に用いるデータ構造
3.4　ハッシュテーブル
3.5　カッコウハッシュ
3.6　トライ
3.7　ダブル配列
3.8　LOUDS
3.9　その他データ構造のテクニック
3.10　ライブラリの入手について
3.11　まとめ
★第4章　かな漢字変換システムの実装
4.1　かな漢字変換をどうやって実現するか
4.2　グラフの作成
4.3　最短経路問題を解く
4.4　単語間の線の距離を決める
4.5　学習用のデータを作る
4.6　まとめ
★第5章　統計・機械学習のアルゴリズムとその応用
5.1　機械学習とは
5.2　二値分類
5.3　構造学習とかな漢字変換
5.4　構造化SVM
5.5　条件付き確率場（CRF）
5.6　統計的かな漢字変換とは
5.7　言語モデル
5.8　かな漢字モデル
5.9　変換精度を評価する
5.10　変換誤りへの対処
5.11　まとめ
★第6章　日本語入力のこれから
6.1　日本語入力の未来予想
6.2　予測入力
6.3　かな漢字変換器の改良に向けて
6.4　今後の学習に向けて
6.5　まとめ
★付録
A.1　数学的な基礎知識
A.2　確率の基礎知識
A.3　学習アルゴリズムの歴史
A.4　機械学習を分類する
A.5　いろいろな学習アルゴリズム
A.6　CRFの目的関数の勾配の導出

[masahiro884さんの感想 · 2014年10月26日]

文字の種類が英語より遥かに多く同音異義語も大量な日本語のかな漢字変換に関する本。文字列マッチングから機械学習までとにかく内容が濃い！一読しただけでは理解できない箇所も多々あった。今や人々が毎日当たり前に使っている道具に込められたエンジニアの魂に触れられる一冊。

[komodaさんの感想 · 2013年11月4日]

http://gihyo.jp/book/2012/978-4-7741-4993-6

[norikoniさんの感想 · 2013年1月12日]

まったくわかんね（笑）

[yumu19さんの感想 · 2012年10月10日]

面白いんだけど、だんだん難しくなっていって最後失速した。
リベンジしたい。

[takexiyさんの感想 · 2012年9月13日]

日本語入力（かな漢字変換）の基本技術の解説本。ここ数年で、最短経路問題としてビタビ＋機械学習のアプローチで実用化が進んでいる様子。パーセプトロンや、（構造化）SVM、CRF等の解説もあるので、日本語入力に限らず、一般的な言語処理・機械学習の技術書としてもオススメ。

著者プロフィール

2007年東京大学大学院情報理工学系研究科修士課程修了。ヤフー、Preferred Infrastructure、スマートニュースを経て、2018年からLeapMindに勤務。機械学習、自然言語処理、画像処理などに興味がある。

「2019年 『Practical Developers ――機械学習時代のソフトウェア開発［ゲームアプリ/インフラ/エッジ編］』 で使われていた紹介文から引用しています。」