Wild Spider
0.0.3
2023-12-15
0
插件介绍
通过使用多个选项卡并行加载到浏览器中来抓取网页
注意：使用的选项卡越多，将使用更多的计算机资源（CPU、内存），并且每个页面都会花费一点磁盘来保存内容（在 IndexedDb 中，可从扩展 -> 检查视图：后台页面访问）。
“蜘蛛”是这样工作的：
1) 以当前 url 作为起点，并在新选项卡中再次加载。
2）该页面加载后，获取该页面上的所有链接。
3）获取页面上的所有链接，包括相对url。
4) 在所有使用的选项卡中并行打开提取的链接（默认为 3 个，在 eventPage 中设置）。
5) 重复2-4
所有源代码位于：https://github.com/nobodxbodon/ChromeCrawlerWildSpider
插件详情
评分
1星（共5星)，共1位用户参与评分
使用人数
43+ 位用户
版本
0.0.3
文件大小
121KB
分类
提供方
Xuan Wu
支持语言
美国英语）
ID
aanpchnfojihjddlocpgoekffmjkhbbe
发布时间
2023-12-15 19:03:18
