【C#爬虫】可以爬取任意网站的爬虫软件

Richardbymn

2020/03/14 16:50更新
蓝奏云：

游客，如果您要查看本帖隐藏内容请回复

https://www.lanzous.com/ia903o[/hide[/url]] b更新内容：
软件版本更新至v1.1
1、增加cookie模拟登录，可以爬取一些需要登录才能浏览的网站，测试发现网易lofter可以爬取，微博暂时不行，测试网址：https://www.lofter.com/view?act=qbview_20130930_01
     使用方法，登录，然后打开需要爬取的页面，按F12，
     1.1选择Network，
     1.2点击清除，然后刷新页面，
     1.3选取页面地址
     1.4选择Headers
     1.5复制Cookie后面的值，复制到最后，有些cookie很长，全部复制，粘贴到软件的cookie框里

原本是发布在【原创发布区】板块的，但是审核太慢了，一天了新帖都不超过3个，所以改发布到精品软件区。
因为昨天的帖子还没通过审核，不能修改，但是我今天又升级了一下功能，所以把新版本发布到这里。
2020/03/14更新内容：
1、可以自定义保存图片目录，但还是会保存在软件目录下的images目录下，可以选择当前日期，或者网站域名，或者自己输入文件夹名称，请勿输入特殊字符，支持中文
2、去掉非站内url的跳转，提升爬虫效率
3、软件底部新增正在爬取的链接和正在下载的图片，并显示实时下载速度，每2s更新一次速度
4、更换了新的背景图，减少软件大小
老规矩，蓝奏云：https://www.lanzous.com/ia8sx6f
软件是自己编码，visual studio2019 + .net4.5，本人觉得没必要杀毒，如果各位不放心的，请留言，我会进行杀毒测试。
版主大人，如果此贴通过审核，请把我在【原创发布区】的相同帖子删掉吧 https://www.52pojie.cn/thread-1130643-1-1.html

以下是原贴内容：
昨天，我发布了一个用C#写的网站图片爬虫软件，由于涉及色情内容，被删除了，我痛定思痛，重新写了一个可以爬取任意网站图片的软件
由于是可以爬取任意输入的网站图片，所以没有做过滤，只要符合图片格式的都会被爬取，可以通过设置图片大小去掉不符合的图片，总之，效率可能一般。
界面很粗糙，为了赶在周末前给大家测试，所有很多细节都没处理，各位在用的时候有什么建议可以提，我会继续完善的。
软件本身很小，但是加了个背景图，大了很多。
老规矩，蓝奏云：https://www.lanzous.com/ia7teej（旧版本，请下载上面的新版本）
使用方式：
1、在地址输入框输入爬取的地址
2、选择爬取深度，深度1层代表只爬取1输入的网站内容，2层表示把1的网站内容中出现的url继续访问，3层在2 的基础上继续跳转，以此类推，一般2层就可以了
3、输入限制图片的大小，小于该数值的图片会被删掉
4、输入本次爬取的图片数量，只有符合大小的图片才会增加数量
5、去吧！皮卡丘
爬取过程中，可以随时停止，但是不能继续，只能重来。
最后，按照国际惯例，求免费的转发，昨天被删帖，扣了一些分。
出现爬取失败，可能是由于网站禁止爬虫，亦或是跳转链接是要加前缀，这个问题将在下一个版本改善。
免责声明：请勿用于非法用途，爬取网站是否违法就看网站是否禁止爬虫。

frankdzj

看起来有点复杂

bhbhbh

谢楼主提供!