如何爬取網路小說資源

『壹』 Python爬取筆趣閣小說返回的網頁內容中沒有小說內容

思路：
一、分析網頁，網址架構
二、碼代碼並測試
三、下載並用手機打開觀察結果
一、分析網頁，網址架構
先隨便點擊首頁上的一篇小說，土豆的--元尊，發現在首頁上面有如下一些信息： 作者，狀態，最新章節，最後更新時間，簡介，以及下面就是每一章的章節名，點擊章節名就可以跳轉到具體的章節。
然後我們按F12，進入開發者模式，在作者上面點擊右鍵--「檢查」，可以發現這些信息都是比較正常地顯示。
再看章節名稱，發現所有的章節都在<div id="list"> 下面的 dd 裡面，整整齊齊地排列好了，看到這種情形，就像點個贊，爬起來舒服。
分析完首頁，點擊章節名稱，跳轉到具體內容，發現所有的正文都在 <div id="content"> 下面，巴適的很
那麼現在思路就是，先進入小說首頁，爬取小說相關信息，然後遍歷章節，獲取章節的鏈接，之後就是進入具體章節，下載小說內容。
OK，開始碼代碼。
二、碼代碼並測試
導入一些基本的模塊：
import requests
from bs4 import BeautifulSoup
import random
2.先構建第一個函數，用於打開網頁鏈接並獲取內容。
使用的是requests 包的request.get ，獲取內容之後用『utf-8』 進行轉碼。
這里我之前有個誤區就是，以為所有的網站都是用 'utf-8' 進行轉碼的，但是實際上有些是用'gbk' 轉碼的，如果隨便寫，就會報錯。
網路之後，只要在console 下面輸入 『document.charset』 就可以獲取網站的編碼方式。