日本語入力を支える技術 ~変わり続けるコンピュータと言葉の世界 (WEB+DB PRESS plus)

著者 :
  • 技術評論社
3.79
  • (8)
  • (24)
  • (13)
  • (1)
  • (1)
本棚登録 : 315
レビュー : 22
  • Amazon.co.jp ・本 (320ページ)
  • / ISBN・EAN: 9784774149936

作品紹介・あらすじ

膨大な変換候補の中からいかに最適解を導くか。

感想・レビュー・書評

並び替え
表示形式
表示件数
  • NLP系の本は敷居が高くて敬遠していた。
    しかし、少しづつこの辺を理解できるようになってきたし、
    ちょっと検索などでN-Gramや辞書などを知る機会があったりNLPerとの交流などを経験して、ついに読んでみた。

    日本語入力における処理の問題や様々なグラフの考え方、ビタビアルゴリズムなど、以前に比べてだいぶすっと入ってくるようになった。

    SVMや構造化SVM、CRFなどについても詳細に言及されていて良書。
    まあ、執筆陣を見てもそれは伝わるか。
    とりあえず、自身の成長を少しだけ感じられて良かった。

    ■目次
    ★第1章 日本語と日本語入力システムの歩み
    1.1 コンピュータで日本語を扱うということ
    1.2 日本語を入力するということ
    1.3 日本語入力とかな漢字変換
    1.4 日本語入力のはじまり
    1.5 かな漢字変換のはじまり
    1.6 単文節変換から連文節変換へ
    1.7 2強時代の到来~統計・機械学習ベースのアルゴリズムへ
    1.8 Web検索各社のかな漢字変換エンジンへの参入
    1.9 携帯電話における日本語入力
    1.10 まとめ
    ★第2章 日本語入力システムの概観
    2.1 ユーザ側から見た日本語入力
    2.2 システム側から見た日本語入力
    2.3 ひらがなの入力方法
    2.4 文字入力フレームワークのアーキテクチャ
    2.5 かな漢字変換エンジンのユーザインタフェース
    2.6 かな漢字変換エンジンのモジュール構成
    2.7 かな漢字変換器の作り方
    2.8 まとめ
    ★第3章 かな漢字変換エンジンに用いられるデータ構造
    3.1 かな漢字変換とデータ構造
    3.2 データ構造とは
    3.3 かな漢字変換に用いるデータ構造
    3.4 ハッシュテーブル
    3.5 カッコウハッシュ
    3.6 トライ
    3.7 ダブル配列
    3.8 LOUDS
    3.9 その他データ構造のテクニック
    3.10 ライブラリの入手について
    3.11 まとめ
    ★第4章 かな漢字変換システムの実装
    4.1 かな漢字変換をどうやって実現するか
    4.2 グラフの作成
    4.3 最短経路問題を解く
    4.4 単語間の線の距離を決める
    4.5 学習用のデータを作る
    4.6 まとめ
    ★第5章 統計・機械学習のアルゴリズムとその応用
    5.1 機械学習とは
    5.2 二値分類
    5.3 構造学習とかな漢字変換
    5.4 構造化SVM
    5.5 条件付き確率場(CRF)
    5.6 統計的かな漢字変換とは
    5.7 言語モデル
    5.8 かな漢字モデル
    5.9 変換精度を評価する
    5.10 変換誤りへの対処
    5.11 まとめ
    ★第6章 日本語入力のこれから
    6.1 日本語入力の未来予想
    6.2 予測入力
    6.3 かな漢字変換器の改良に向けて
    6.4 今後の学習に向けて
    6.5 まとめ
    ★付録
    A.1 数学的な基礎知識
    A.2 確率の基礎知識
    A.3 学習アルゴリズムの歴史
    A.4 機械学習を分類する
    A.5 いろいろな学習アルゴリズム
    A.6 CRFの目的関数の勾配の導出

  • 文字の種類が英語より遥かに多く同音異義語も大量な日本語のかな漢字変換に関する本。文字列マッチングから機械学習までとにかく内容が濃い!一読しただけでは理解できない箇所も多々あった。今や人々が毎日当たり前に使っている道具に込められたエンジニアの魂に触れられる一冊。

  • まったくわかんね(笑)

  • 面白いんだけど、だんだん難しくなっていって最後失速した。
    リベンジしたい。

  • 日本語入力(かな漢字変換)の基本技術の解説本。ここ数年で、最短経路問題としてビタビ+機械学習のアプローチで実用化が進んでいる様子。パーセプトロンや、(構造化)SVM、CRF等の解説もあるので、日本語入力に限らず、一般的な言語処理・機械学習の技術書としてもオススメ。

  • 日本語入力を行う際にどのようなアルゴリズムが使われているか擬似コード付きで解説している本。データ構造の話やプログラム実装時の注意点が説明されていて理解が進む。それでも解説が飛ぶところは理解し切れていない。

  • * 全体的にとてもいい本だと思った。筆者の知見を伝えようという意欲が感じられた。
    ** それぞれ説明に入る前に必要性について言及するように気をつけているように感じた。
    * 今後も何度か読みなおすことになりそう。
    * 付録に学習アルゴリズムの適用順序が書いてあったりするのもよかった。
    * 3章のデータ構造辺りだけ、なんだか曖昧な感じがしたのが残念。

  • 日本語入力(IME)では,日本語という(外の言語に比べて)特殊な言語を対象としているためにいろいろな技術が詰め込まれている.その内,変換の元ネタとなる辞書のデータ構造や最適解へ変換するアルゴリズムを中心に,日本語変換システムを解説している雑学書.トライ木などのグラフや,機械学習の数式に対して,ほとんどにRubyを模した疑似コードが付随しており,理論だけでなく実装も意識しながら読むことができるので,エンジニアには優しい作りとなっている.数式の演算項をイメージで解説しているところも読み易いと思った(“{}はwがあまり大きくならないでほしいといった気持ちを表しています”など).
    最初はQWERTYキーボードだったり,配列やハッシュの解説から始まっているので,手っ取り早く機械学習の部分だけ読みたい人は,第3章と4章を流し読みして,5章から読めば良いと思う.

  • 自然言語処理、データ構造、サポートベクターマシンとひと通りの知識を得られる良書。わかりやすいと思います。

全22件中 1 - 10件を表示

プロフィール

株式会社Preferred Infrasturucture 知的情報処理事業部 事業部長

「2015年 『オンライン機械学習』 で使われていた紹介文から引用しています。」

徳永拓之の作品

この本を読んでいる人は、こんな本も本棚に登録しています。

有効な左矢印 無効な左矢印
ウォルター・アイ...
濱野 純(Jun...
有効な右矢印 無効な右矢印

日本語入力を支える技術 ~変わり続けるコンピュータと言葉の世界 (WEB+DB PRESS plus)を本棚に登録しているひと

ツイートする