Pythonクローリング&スクレイピング -データ収集・解析のための実践開発ガイド-
- 技術評論社 (2016年12月16日発売)
- Amazon.co.jp ・本 (400ページ)
- / ISBN・EAN: 9784774183671
作品紹介・あらすじ
Webデータ収集・解析の技法を基礎から実用まで徹底解説。
感想・レビュー・書評
-
1章 クローリング・スクレイピングとは何か
Python以外のツールでのクローリング・スクレイピングの
解説がある。この本では対象はgihyo.jpでのクローリング・
スクレイピングを解説している。
2章 Pythonで始めるクローリング・スクレイピング
Pythonの基本的な機能、標準ライブラリでクローリング・スクレイピング
を行う方法。ページ取得・パース・保存まで、ひとおりやっている。
3章 強力なライブラリの活用
ページの取得 Requests,Beautiful Soup,pyquery
データの保存 MySQL
4章 実用のためのメソッド
robots.txtによるクロール禁止、接続先への過剰負担の禁止など
実用にあたってのアドバイス。
エラー処理。訪問先のWebページの変更への対応
5章 クローリング。スクレイピングの実践とデータの活用
MeCabを活用した自然言語処理、APIを活用したデータ収集
AmazonAPIを使用した実例、YouTubeAPIの活用事例
為替データの活用方法、PDFからのデータ抽出
RoboBrowserによるWebページの自動操作
6章 フレームワークScrapy
本格的なフレームワークを使用し継続的なクローリング
スクレイピングが可能となる。
7章 クローラーの継続的な運用・管理
AmazonEC2の無料枠を使用しサーバーを立ち上げその中で
クローラーを運用する方法を解説している詳細をみるコメント0件をすべて表示 -
すぱっと目先のhow toが知りたいだけの場合には、前半が長ったらしく思えるかも。
-
Pythonでスクレイピング、クローリングするための本。とてもわかりやすい。
-
図書館で借りた。丁度やってるとこ
-
ある(2018/09/26)
-
取得から加工とスケーリングなど必要な知識全体を網羅している。
-
請求記号 547.48/Ka 86