爬取安全领域文章(Seebug、先知社区、安全客、freebuf等),转成pdf存到本地
一些比较老的博文中的一些关键的图片会由于图片服务器错误(不提供图片)加载失败,但是又毫无办法。
有人选择把图片和文章内容全部爬下来存进数据库重新组织,但是对我个人不是很有必要,直接存成pdf反而更方便我阅读。
考虑到版权等问题,只提供代码,不提供pdf文档
PS:在找解决方案的时候看到了一个去年完成的项目Security Search,主要是实现信息聚合搜索的功能,内容很全也一直在更新。
站点 | 脚本 | 进度 |
---|---|---|
Seebug | Spider | 已完成 |
先知社区 | Spider | 已完成 |
安全客 | Spider | 已完成 |
FreeBuf | Spider | 已完成 |
Wooyun | Spider | 已完成 |
嘶吼 |
- 本地存空间有点费,使用nodedrive对接百度云