小说爬虫下载器免费版

❶ 干货 | 33款开源爬虫软件工具（收藏）

以下是部分知名的开源爬虫软件工具的简要介绍：

Java爬虫： Arachnid：一个微型爬虫框架，含有一个小型HTML解析器，通过实现子类可开发简单的Web spiders。许可证为GPL。 crawlzilla：基于nutch专案的自由软件，安装简易，拥有中文分词功能，提供安装与管理UI。授权协议为Apache License 2。 ExCrawler：由守护进程执行的爬虫，使用数据库存储网页信息。授权协议为GPLv3。 Heritrix：具有良好可扩展性的开源网络爬虫，严格遵照robots文件的排除指示和META robots标签。授权协议为Apache。 heyDr：轻量级开源多线程垂直检索爬虫框架，用于构建垂直搜索引擎前期的数据准备。遵循GNU GPL V3协议。

JavaScript SHELL爬虫： 目前仅提及heyDr，但注意heyDr是基于Java的，此处可能是信息归类的小误差，JavaScript SHELL的爬虫未在提供的信息中明确列出具体软件。

Python爬虫： QuickRecon：简单的信息收集工具，具有查找子域名名称、收集电子邮件地址并寻找人际关系等功能。授权协议为GPLv3。 PyRailgun：简洁、轻量、高效的网页抓取框架，支持抓取javascript渲染的页面。授权协议为MIT。

C++爬虫： hispider：快速且高性能的爬虫系统框架，支持多机分布式下载和网站定向下载，提供基础功能。 larbin：高性能的爬虫软件，只负责抓取不负责解析。授权协议为GPL。

C#爬虫： NWebCrawler：可配置的网络爬虫程序，具有统计信息、执行过程可视化等功能。授权协议为GPLv2。

PHP爬虫： OpenWebSpider：开源多线程Web Spider，包含许多有趣功能的搜索引擎。

Ruby爬虫： Spidr：Ruby的网页爬虫库，可将整个网站或链接完全抓取到本地。

这些开源爬虫软件工具各具特色，适用于不同的爬虫需求和开发环境。

❷ 谁给推荐个免费小说下载器

在多特网站上搜索小说下载阅读器，下载即可，只需知道小说名称即可快捷地下载小说各章节内容，按喜欢的样式惬意地阅读小说内容，并可打包为各种样式的电子书以方便阅读，不仅可以阅读小说，还可以听小说、写小说。

【软件功能】
1、支持各小说网站的小说下载，同样亦支持各类网络文章的下载。
2、可按小说名称自动获取小说目录页网址，并能随小说网站的更新而更新。
3、能下载带图片的小说。
4、能自动优化章节内容，去掉不需要的内容。
5、简单方便地设定背景色、字体大小、字体颜色进行阅读，并可双击自动平滑滚屏。
6、能将整本小说打包为chm或txt格式电子书，以方便在手机或mp3等工具上阅读。
7、支持背景音乐的播放，并可同步显示歌词。
8、支持书签、批注、注音、简繁转换、拆分/合并章节、分卷/全文阅读等。
9、可随意编辑章节内容，查找及替换相应内容，并可自动排版。
10、可查看并设置章节是否已读情况，方便地调整章节次序。
11、可通过不同的网址下载单独的章节，能通过章节名称获取下载地址进行下载。
12、我的书柜，可将所有制作好的电子书分门别类地排列，点击阅读。
13、支持用不同的语音来朗读小说。
14、小说写作助手可以方便地帮助您写作小

❸ 33 款可用来抓数据的开源爬虫软件工具

推荐33款开源爬虫软件，助您获取数据

网络爬虫，即自动抓取网页内容的程序，是搜索引擎的重要组成部分。了解爬虫，有助于进行搜索引擎优化。

传统爬虫从初始网页开始，抓取网页并不断抽取新URL，直到系统设定条件满足。聚焦爬虫则需分析网页，过滤无关链接，保留有用链接进行抓取。爬虫抓取的网页被系统存储、分析并建立索引，以便后续查询。

开源爬虫软件数量众多，本文精选33款，按开发语言分类。

Java爬虫

• Arachnid：基于Java的Web spider框架，包含HTML解析器。可通过子类实现简单Web spiders。


• crawlzilla：自由软件，帮你建立搜索引擎，支持多种文件格式分析，中文分词提高搜索精准度。


• Ex-Crawler：Java开发的网页爬虫，采用数据库存储网页信息。


• Heritrix：Java开发的开源网络爬虫，具有良好的可扩展性。


• heyDr：基于Java的轻量级多线程垂直检索爬虫框架。


• ItSucks：Java web spider，支持下载模板和正则表达式定义下载规则，带GUI界面。


• jcrawl：小巧性能优良web爬虫，支持多种文件类型抓取。


• JSpider：用Java实现的WebSpider，支持自定义配置文件。


• Leopdo：Java编写的web搜索和爬虫，包括全文和分类垂直搜索，以及分词系统。


• MetaSeeker：网页内容抓取、格式化、数据集成工具，提供网页抓取、信息提取、数据抽取。

Python爬虫

• QuickRecon：信息收集工具，查找子域名、电子邮件地址等。


• PyRailgun：简单易用的抓取工具，支持JavaScript渲染页面。


• Scrapy：基于Twisted的异步处理框架，实现方便的爬虫系统。

C++爬虫

• hispider：快速高性能爬虫，支持多线程分布式下载。

其他语言爬虫

• Larbin：开源网络爬虫，扩展抓取页面url，为搜索引擎提供数据。


• Methabot：速度优化的高可配置web爬虫。


• NWebCrawler：C#开发的网络爬虫程序，支持可配置。


• Sinawler：针对微博数据的爬虫程序，支持用户基本信息、微博数据抓取。


• spidernet：多线程web爬虫，支持文本资源获取。


• Web Crawler mart：集成Lucene支持的Web爬虫框架。


• 网络矿工：网站数据采集软件，基于.Net平台的开源软件。


• OpenWebSpider：开源多线程Web Spider和搜索引擎。


• PhpDig：PHP开发的Web爬虫和搜索引擎。


• ThinkUp：采集社交网络数据的媒体视角引擎。


• 微购：社会化购物系统，基于ThinkPHP框架开发。


• Ebot：使用ErLang语言开发的可伸缩分布式网页爬虫。


• Spidr：Ruby网页爬虫库，支持整个网站抓取。

以上开源爬虫软件满足不同需求，提供数据抓取解决方案。请注意合法使用，尊重版权。