Python利用无头浏览器爬虫爬取笔趣阁小说教程

  • |
  • 幻灯播放
  • |
  • 查看原图
  • |
  • 提示:支持键盘翻页 ←左 右→
loading...
1.下载安装chromium2.明确chromium默认安装路径3.编写代码4.明白爬取参数与注意事项5.开始爬取6.查看结果步骤1.下载安装chromium下载方式一:官网下载 -> Chromiun下载链接下载方式二:夸克网盘下载保存 -> chromium下载器下载后,直接双击安装器完成安装即可,如图步骤2.明确chromium默认安装路径安装后,需要明白默认安装的位置,因为代码中会用到,我的电脑用户名为AW,因此被安装在了如下路径,如图C:\Users\AW\AppData\Local\Chromium\Application\chrome.exe 步骤3.编写代码这段代码中用到的库主要为pyppteer、python-docx,这两个库需额外下载最终代码如下import asyncioimport osfrom docx import Documentfrom pyppeteer import launch# 禁用自动下载 Chromiumos.environ["PYPPETEER_SKIP_CHROMIUM_DOWNLOAD"] = "true"async def main(): # word名称 wordName = "宿命之环1~3章.docx" # 笔趣阁域名 netName = "https://www.22biqu.com" # 指定起始页的链接 firstPagePath = "/biqu5251/5259122.html" # 指定结束页的链接,不要指定的太远,因为字数太多,打开word很卡的 endPagePath= "/biqu5251/5259124.html" # 要爬取的链接 catchUrl = netName + firstPagePath # 页数,可参考 pageCount=0 # 结束标志 endFlag=False while True: try: #尝试打开一个word doc = Document(wordName) except: doc = Document() # 启动浏览器,指定手动下载的 Chromium 路径 browser = await launch(executablePath=r'C:\Users\AW\AppData\Local\Chromiu ...

阅读:193 | 评论:0我来说两句:

欢迎您,请 [登录][注册] 发言!
步骤2.明确chromium默认安装路径安装后,需要明白默认安装的位置,因为代码中会用到,我的电脑用户名为AW,因此被安装在了如下路径,如图C:\Users\AW\AppData\Local\Chromium\Application\chrome.exe 步骤3.编写代码这段代码中用到的库主要为pyppteer、python-docx,这两个库需额外下载最终代码如下import asyncioimport osfrom docx import Documentfrom pyppeteer import launch# 禁用自动下载 Chromiumos.environ["PYPPETEER_SKIP_CHROMIUM_DOWNLOAD"] = "true"async def main(): # word名称 wordName = "宿命之环1~3章.docx" # 笔趣阁域名 netName = "https://www.22biqu.com" # 指定起始页的链接 firstPagePath = "/biqu5251/5259122.html" # 指定结束页的链接,不要指定的太远,因为字数太多,打开word很卡的 ...endPagePath:和指定起始页一样,要在哪页结束,就把哪页的路径放进去,但是这里有个注意点注意点:指定的结束页和起始页不要隔的太远了,因为word中字数太多,打开都卡,我测试了下,我爬取了200章到一个word中,结果是能打开,但是打开时比较卡,因此我建议分为几章节来爬取,不要妄图一次爬取所有章节,理论是可以的,但是你的电脑处理器肯定受不了步骤5.开始爬取我这里测试爬取笔趣阁-《宿命之环的1~5章》,因此我设置参数为如下参数设置好后,直接运行代码即可,如图保存为了word步骤6.查看结果 打开我们爬取的1~5章的word,如图,我这里做了将章节名作为标题,打开章节导航还可以点击标题直接定位到对应章节结语以上是幽络源的利用无头浏览器爬虫爬取笔趣阁小说的教程,对于此篇教程的内容,后续的优化我建议是做成一个PyQT程序,这样会更加方便。