回首頁  
帳號
 
關於博碩 博碩好讀 校園圖書 MOCC認證 下載教學 博碩教育雲 數位學院 最新書單(歡迎下載)

博碩好讀
  新書推薦
  出版預告
  名家名著
 

分類索引

 

出版總覽

 

讀者服務

  徵求作者
 
首頁 >> 書籍介紹
 
 
點我可放大圖片
 
書名:使用Python搜刮網路資料的12堂實習課
書號:MP21926 作者:何敏煌、葉柏漢、顏凰竹 ISBN: 978-986-434-521-2
定價:NT$520元 印刷:單色 頁數:352頁
書籍規格:17*23 上市日:2020/9/28 譯者:(無)
學習定位:初階 本書附件:網路下載範例檔  
前往購買 >> 天瓏 類別:電腦技術  
       
快速前往 快速前往 快速前往        

 

 
    網路爬蟲是AI範疇中,
    取得資料與儲存的一項重要技能,
    Python是爬蟲過程中相當好用的工具

    全書以簡單的Python程式為主軸,讓您可以輕鬆學會如何利用Python的模組擷取公開的網站資料、網頁內容,並建立自己的自動化爬蟲程式,增進您在網路上搜刮資料的能力與效率,是已具有Python基礎的學習者最佳的爬蟲入門工具書。
    在本書中我們將學會使用以下的Python開發環境、模組及框架:

    ThonnyJupyter Notebookrequests
    jsoncsvre
    xlrdBeautifulSoupSelenium
    sqlite3mysqlpymongo
    pyinstallerScrapypyautogui


    並學習如何擷取以下的幾種網站:

    ☑大學網站的焦點新聞頁面☑政府公開資訊網站
    ☑即時新聞網站標題、內容、圖片☑汽車網站之車款資訊及二手車在庫資訊
    ☑銀行網站之匯率資料擷取☑中央氣象局之氣溫觀測資訊
    ☑Ptt八卦版年齡宣告按鈕及Ptt討論區貼文擷取☑網路書店暢銷書排行榜
    ☑股市網站財經新聞☑線上購物網站產品資訊
    ☑名言佳句範例網站☑台灣證券交易所股票資訊
    ☑Dcard梗圖下載☑台灣運彩官網資訊
    ☑Mobile01討論區貼文


    ★本書特色★
    ✪了解網站、網頁、瀏覽器間的關係,認識爬蟲程式
    ✪了解網路上格式HTML/CSV/JSON/XLSX
    ✪使用requests模組取得網路上的資料
    ✪擷取及解析JSON及CSV格式資料檔案
    ✪利用Regular Expression及BeautifulSoup模組剖析網頁資料
    ✪活用Chrome開發人員工具找出網頁中特定資料的CSS選擇器內容
    ✪使用Selenium自動化工具擷取動態網頁
    ✪把擷取的資料儲存到MySQL及MongoDB資料庫
    ✪利用排程器做到自動化資料擷取及通知的功能
    ✪透過Scrapy框架建立爬蟲程式,大量搜刮資料
 
    第1堂 認識網站與網路爬蟲原理
    1-1 什麼是爬蟲程式
    1-2 瀏覽器與網頁伺服器
    1-3 從網站下載資料的概念與原理
    1-4 本書程式執行環境的建立
    1-5 習題

    第2堂 快速了解網路資料格式
    2-1 HTML/CSS
    2-2 CSV
    2-3 JSON
    2-4 XLS/XLSX
    2-5 習題

    第3堂 擷取網頁資料基礎
    3-1 requests模組介紹與使用
    3-2 資料檔案存取
    3-3 網路公開資訊CSV格式讀取實例
    3-4 網路公開資訊JSON格式讀取實例
    3-5 習題

    第4堂 HTML網頁剖析基礎
    4-1 使用Regular Expression剖析網頁
    4-2 使用BeautifulSoup剖析網頁
    4-3 新聞網站之擷取與儲存
    4-4 網頁圖形檔之擷取與儲存
    4-5 習題

    第5堂 HTML網頁剖析實務
    5-1 Jupyter Notebook安裝與使用
    5-2 Chrome開發人員工具
    5-3 活用表單查詢存取資料
    5-4 新聞網站內容之擷取與儲存
    5-5 習題

    第6堂 CSS選擇器基礎與活用
    6-1 CSS 選擇器介紹
    6-2 Selenium安裝與使用
    6-3 動態網頁資料擷取
    6-4 表單登入網頁擷取
    6-5 習題

    第7堂 MySQL資料庫儲存
    7-1 資料庫與SQL
    7-2 SQLite資料庫簡介與操作
    7-3 MySQL資料庫系統安裝
    7-4 MySQL資料庫操作實例
    7-5 習題

    第8堂 MongoDB資料庫操作
    8-1 MongoDB安裝與操作
    8-2 使用Python儲存資料
    8-3 使用Python讀取資料
    8-4 MongoDB資料庫應用實例
    8-5 習題

    第9堂 自動化資料擷取
    9-1 自動化資料擷取程式
    9-2 電子郵件通知實作
    9-3 建立可執行檔
    9-4 作業系統排程設定
    9-5 習題

    第10堂 Scrapy初階
    10-1 Scrapy簡介與安裝
    10-2 Scrapy Shell測試與練習
    10-3 Scrapy專案檔案的編輯與執行
    10-4 爬取網頁內容並儲存到資料庫
    10-5 習題

    第11堂 Scrapy 爬蟲實務
    11-1 學校網頁資料爬取實例
    11-2 新聞網站資料爬取實例
    11-3 PTT討論區爬取實例
    11-4 習題

    第12堂 爬蟲實戰技巧及實例
    12-1 活用pyautogui模組和網頁互動
    12-2 Dcard梗圖爬取實例
    12-3 下載無限捲動網頁內容
    12-4 MOBILE01討論區爬取實例
    12-5 車商二手車資料下載實例
    12-6 習題

    附錄 反爬蟲與反反爬蟲的戰爭
    a-1 網站的robotstxt
    a-2 User-Agent
    a-3 頻繁的request請求
    a-4 JavaScript程式動態產生的網頁
    a-5 我不是機器人驗證
    a-6 CAPTCHA和reCaptcha驗證碼
    a-7 人機合作爬蟲程式解決驗證碼問題
 
    何敏煌
    國立交通大學資訊科學博士,現任職於國立高雄科技大學博雅教育中心,平時除了研究KVM虛擬雲端容錯與分散式系統相關技術之外,也利用閒暇之餘致力於推廣資訊科技、Maker自學課程、與程式設計教育。個人網站:http://drho.club。
 
    【下載範例程式檔案】
    本書的程式碼是由GitHub託管,可點選下面圖案前往下載:
 
 
 
     

博碩文化客服信箱
 

dr26962869@gmail.com

 
文教業務團隊
台北、新北、桃園、基隆、宜蘭、花蓮
郭 南 彤
LINE ID:rgtech101
0917-727778
tigerguo@drmaster.com.tw
汪 玉 鳳
LINE ID:0925177716
0925-177716
carlo@drmaster.com.tw
助理分機 519
新竹、苗栗、台中、彰化、南投、雲林
林 世 昌
LINE ID:0925275775
0925-275775
rick@drmaster.com.tw
助理分機 519
嘉義、台南、高雄、屏東、台東
林 月 玲
LINE ID:0926858627
0926-858627
donylin@drmaster.com.tw
助理分機 238
 
MOCC 認證小組
 
  林 雯 玲 電話:02-2696-2869 分機:623 software24@drmaster.com.tw

 

 
 

 

博碩文化股份有限公司 DrMaster Press Co., Ltd.
台灣新北市汐止區新台五路一段112號10樓A棟
Building A, 10F, No.112, Xintai 5th Rd., Sec.1,Xizhi Dist., New Taipei City 221, Taiwan
Tel:02-2696-2869 Fax:02-2696-2867 劃撥帳號:17484299

Copyright© DrMaster Press Co., Ltd. All Rights Reserved.