Spider_Wl

一款递归爬取网站外链的爬虫工具,有exe文件可以直接使用,界面没咋优化。。

快速开始

1.运行spider_wl.exe

2.url处输入要爬取的网址,domain处输入标识为本网站的字符,如www.baidu.com，domain输入baidu的话，就会将页面下的所有不包含baidu字符的url设置为外联，当然可以写多个标识，以;分隔就行。