Python網(wǎng)絡(luò)爬蟲框架Scrapy從入門到精通

第1章 Scrapy框架簡介
1.1 Scrapy簡介 ·······2
1.2 關(guān)于本書：目標(biāo)和用途 ········2
1.3 進(jìn)行自動化數(shù)據(jù)爬取的重要性 ·······3
1.4 掌握自動化測試的重要性 ········3
1.5 合理規(guī)劃，開發(fā)高質(zhì)量的應(yīng)用 ·······4
1.6 網(wǎng)絡(luò)數(shù)據(jù)的采集法律與道德約束 ·······5
1.7 本章小結(jié) ·······5
第2章 Scrapy網(wǎng)絡(luò)爬蟲知識介紹
2.1 爬蟲的作用 ········7
2.2 爬蟲必備的前端知識 ·······9
2.3 爬蟲經(jīng)常用的Python語法 ·······26
2.4 本章小結(jié) ·······44
第3章 Scrapy開發(fā)環(huán)境的搭建
3.1 安裝Python ·······47
3.2 數(shù)據(jù)庫的安裝 ········50
3.3 安裝Scrapy ········56
3.4 本章小結(jié) ·······60
第4章 Scrapy架構(gòu)及編程
4.1 Scrapy架構(gòu)及目錄源碼分析 ·······62
4.2 Scrapy項(xiàng)目的創(chuàng)建和管理 ·······67
4.3 PyCharm如何調(diào)試Scrapy ·······72
4.4 Scrapy的組件 ·······77
4.5 Scrapy的數(shù)據(jù)流 ·······78
4.6 數(shù)據(jù)存儲 ·······78
4.7 Scrapy如何定義中間件 ·······80
4.8 Scrapy其他方法的使用 ·······82
4.9 本章小結(jié) ·······83
第5章 Scrapy進(jìn)階
5.1 理解Scrapy性能 ·······85
5.2 編寫Spider的邏輯 ·······93
5.3 Item和Pipeline ·······95
5.4 數(shù)據(jù)庫存儲 ·······98
5.5 Scrapy集成隨機(jī)User-Agent和代理IP ·······100
5.6 突破反爬技術(shù) ·······102
5.7 圖片和文件下載 ·······103
5.8 如何部署爬蟲 ·······108
5.9 計劃定時爬取 ·······111
5.10 本章小結(jié) ·······112
第6章 實(shí)戰(zhàn)項(xiàng)目：Scrapy靜態(tài)網(wǎng)頁的爬取
6.1 采集需求及網(wǎng)頁分析 ·······114
6.2 數(shù)據(jù)表的設(shè)計 ·······115
6.3 獲取和解析列表、詳情頁 ·······115
6.4 數(shù)據(jù)存儲 ·······117
6.5 數(shù)據(jù)的導(dǎo)出和展示 ·······119
6.6 本章小結(jié) ·······121
第7章 實(shí)戰(zhàn)項(xiàng)目：Scrapy動態(tài)網(wǎng)頁的爬取
7.1 采集需求及網(wǎng)頁分析 ·······123
7.2 Selenium的安裝和使用 ···············124
7.3 解析網(wǎng)頁及代碼的實(shí)現(xiàn) ················126
7.4 數(shù)據(jù)的存儲 ·······128
7.5 數(shù)據(jù)的導(dǎo)出 ·······130
7.6 本章小結(jié) ·······133
第8章 實(shí)戰(zhàn)項(xiàng)目：Scrapy爬取App應(yīng)用數(shù)據(jù)
8.1 搭建開發(fā)環(huán)境 ·······135
8.2 移動自動化工具：Ui Automator Viewer ·······144
8.3 Appium Desktop工具的錄制功能 ·······147
8.4 App應(yīng)用數(shù)據(jù)抓取實(shí)戰(zhàn)項(xiàng)目 ·······150
8.5 本章小結(jié) ·······158
第9章 Scrapy的分布式部署與爬取
9.1 分布式系統(tǒng)概述及要點(diǎn) ·······160
9.2 使用Gerapy管理分布式爬蟲 ·······162
9.3 通過Scrapyd + ScrapydWeb簡單高效地部署和監(jiān)控分布式爬蟲項(xiàng)目 ·······168
9.4 使用Scrapy-Redis實(shí)現(xiàn)分布式爬蟲 ·······174
9.5 本章小結(jié) ·······195
第10章 分布式的實(shí)戰(zhàn)項(xiàng)目
10.1 搭建Redis服務(wù)器 ·······197
10.2 創(chuàng)建主項(xiàng)目及配置Scrapy-Redis ·······197
10.3 創(chuàng)建從項(xiàng)目及配置Scrapy-Redis ·······200
10.4 部署代理IP池及User-Agent ·······203
10.5 執(zhí)行程序 ·······205
10.6 本章小結(jié) ·······206
第11章 用Selenium框架測試網(wǎng)站
11.1 網(wǎng)站測試簡介 ·······208
11.2 用Scrapy + Selenium進(jìn)行前端自動化測試 ·······208
11.3 本章小結(jié) ·······235
第12章 用Scrapy + Pandas進(jìn)行數(shù)據(jù)分析
12.1 Python數(shù)據(jù)分析概述 ·······237
12.2 NumPy簡介及操作 ·······238
12.3 Matplotlib簡介及操作 ·······247
12.4 Pandas簡介及操作 ·······256
12.5 實(shí)戰(zhàn)項(xiàng)目：Scrapy爬取網(wǎng)站并用Pandas進(jìn)行數(shù)據(jù)分析 ·······267
12.6 本章小結(jié) ·······284