評価指標入門〜データサイエンスとビジネスをつなぐ架け橋

著者 : 高柳慎一 長田怜士

• 技術評論社 (2023年2月18日発売)

作品紹介・あらすじ

「評価指標でXXXという最高のスコアが出た！」と喜び勇んで、機械学習モデルが出力してくる予測結果をもとにビジネスを運用したとします。 ところが、ビジネス上のKPIと相関が高い評価指標を選んでいなかったために、KPIの推移を見てみると大した変化がありませんでした。 あるいは「毎日夜遅くまで残業をして、特徴量生成とクロスバリデーションによって評価指標を改善しました！」というデータサイエンティストがいたとします。ところが、KPIの改善のためには そこまで高い評価指標の値を達成する必要ありませんでした。このようなケースでは、データサイエンティストが費やした工数がすべて水の泡となってしまいます。----------（はじめにより）----------

このような状況が起きてしまう背景にはさまざまな原因が考えられますが、あえて一言で言うと「データサイエンスの問題が解くべきビジネスの問題と乖離していた」ためです。

機械学習モデルの”良し悪し”を決めるときには、評価指標（Evaluation Metrics）を必要とします。本質的に評価指標の設計方法は自由であり、ビジネス上の価値を考慮して自ら作成することも可能です。RMSEやAUCといったスタンダードなものから、ドメインに特化した数値まで、あらゆる指標が評価指標になりえます。では評価指標はどのように決めるのが良いのでしょうか。また、どのように決めれば冒頭のような悲しい状況を生まずに済むのでしょうか。

本書はこれらの疑問に答えるため、機械学習の良し悪しを決める評価指標を軸に、解くべきビジネスの問題をどうやってデータサイエンスの問題に落とし込むのか、その原理を解説していきます。この原理が普遍的なものであれば、ビジネスがどんなものであっても応用できると考えることができます。

回帰、分類で使用するスタンダードな評価指標についても、基本から丁寧に解説します。本書を読むことで、どのようなケースでどの評価指標を選ぶべきかがわかり、評価指標の読み間違いを避けることができます。

感想・レビュー・書評

[会津大学情報センター（附属図書館）さんの感想 · 2024年4月5日]

[ITエンジニア本大賞] 2024年技術書部門ベスト10入り

[徳島文理大学 徳島キャンパス附属図書館さんの感想 · 2024年2月21日]

【貸出状況・配架場所はこちらから確認できます】
https://lib-opac.bunri-u.ac.jp/opac/volume/802575

[岩手県立大学メディアセンターさんの感想 · 2023年11月18日]

【配架場所、貸出状況はこちらから確認できます】
https://libipu.iwate-pu.ac.jp/opac/volume/567342

[bob-taniさんの感想 · 2023年7月19日]

サイエンスとKPIを結びつける。
架け橋は評価指数。
KPIをビジネス上のゴールとして達成するためにはを考えた時に
データサイエンスとビジネスをつなぐための手法と考え方を提案。
この書で書かれているような議論でデータサイエンティストとビジネスが絡む理想がそう好きできる。
ビジネスの定義が揺らがないためにもKPIを設定するならブレない施策が大事と見る。

データサイエンス向けなので数式が並ぶがデータ活用視点では覚えておきたい話が多い。

[fraserlibさんの感想 · 2023年5月12日]

請求記号　007.1/Ta 57

[aokikenichiさんの感想 · 2023年3月5日]

ありそうでなかった評価指標に特化した本
必読とまではいかないけれど「差」がつく本と思います

著者プロフィール

高柳慎一
2020年 総合研究大学院大学複合科学研究科博士課程修了, 博士（統計科学）
客員准教授以外にも阿修羅の如くいくつもの顔を持ち、会社・学会・家庭において、妖精・座敷童子・AIエンジニア・幹事・父を兼務。
愛娘の名前は凪（なぎ）で韻を踏んでいる。
「老兵は死なず、ただ消え去るのみ」のマインドで書籍関連業から退くべく若者のプロデュース（監修）業に邁進するも、数年前に行った”編集の悪魔”との契約に基づき地獄より召喚され本書の執筆に至る。
近年の訳書・監修書籍は『前処理大全』技術評論社（監修,2018）『効果検証入門』技術評論社（監修,2020）『施策デザインのための機械学習入門』技術評論社（監修,2021）『Federated Learning』共立出版（共訳，2022）等多数。
本書のはじめに、1章、付録を執筆、2章を共同執筆。

「2023年 『評価指標入門〜データサイエンスとビジネスをつなぐ架け橋』 で使われていた紹介文から引用しています。」