小說目錄和網址的獲取

進入官網，點擊輸入書名，點擊搜索，進入免費試讀。
打開開發者工具，刷新頁面，找到小說目錄json格式對應的網址

先獲取json格式的數據

url = 'https://read.qidian.com/ajax/book/category?_csrfToken=pDSSk0OUANaaYIOXJfzVTB27IXwqdBF2qx0MEBqe&bookId=1924072' headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0', } response = requests.get(url=url, headers=headers) # 用原編碼格式，防止亂碼 response.encoding = response.apparent_encoding novel_json = json.loads(response.text)

然后獲取json中小說對應的章節以及內容所對應的部分網址并構建小說的網址并保存到本地

# 此書一共10卷，若沒有VIP限制則可全部下載，獲取每一卷的章節及部分網址 for i in range(1, 11):chapters_info = novel_json['data']['vs'][i]['cs']for item in chapters_info:ids = item['cU']name = item['cN']url = 'https://read.qidian.com/chapter/'url = url + idsresponse = requests.get(url=url, headers=headers)response.encoding = response.apparent_encodinghtml = etree.HTML(response.text)contents = html.xpath('//*[@class="text-wrap"]/div/div[2]/p/text()')length = len(contents)content = ''for p in range(length):content = content + contents[p]content.replace('\u3000\u3000', '')print(content)chapter = name + '\n' + content + '\n'with open('獨步天下.txt', 'a') as f:f.write(chapter)

效果圖如下

下載前兩卷后，vip資源已被封鎖，不過可以從小網站下載。

總結

以上是生活随笔為你收集整理的起点小说网小说爬取的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。