小說爬蟲下載器免費版

❶ 干貨 | 33款開源爬蟲軟體工具（收藏）

以下是部分知名的開源爬蟲軟體工具的簡要介紹：

Java爬蟲： Arachnid：一個微型爬蟲框架，含有一個小型HTML解析器，通過實現子類可開發簡單的Web spiders。許可證為GPL。 crawlzilla：基於nutch專案的自由軟體，安裝簡易，擁有中文分詞功能，提供安裝與管理UI。授權協議為Apache License 2。 ExCrawler：由守護進程執行的爬蟲，使用資料庫存儲網頁信息。授權協議為GPLv3。 Heritrix：具有良好可擴展性的開源網路爬蟲，嚴格遵照robots文件的排除指示和META robots標簽。授權協議為Apache。 heyDr：輕量級開源多線程垂直檢索爬蟲框架，用於構建垂直搜索引擎前期的數據准備。遵循GNU GPL V3協議。

JavaScript SHELL爬蟲： 目前僅提及heyDr，但注意heyDr是基於Java的，此處可能是信息歸類的小誤差，JavaScript SHELL的爬蟲未在提供的信息中明確列出具體軟體。

Python爬蟲： QuickRecon：簡單的信息收集工具，具有查找子域名名稱、收集電子郵件地址並尋找人際關系等功能。授權協議為GPLv3。 PyRailgun：簡潔、輕量、高效的網頁抓取框架，支持抓取javascript渲染的頁面。授權協議為MIT。

C++爬蟲： hispider：快速且高性能的爬蟲系統框架，支持多機分布式下載和網站定向下載，提供基礎功能。 larbin：高性能的爬蟲軟體，只負責抓取不負責解析。授權協議為GPL。

C#爬蟲： NWebCrawler：可配置的網路爬蟲程序，具有統計信息、執行過程可視化等功能。授權協議為GPLv2。

PHP爬蟲： OpenWebSpider：開源多線程Web Spider，包含許多有趣功能的搜索引擎。

Ruby爬蟲： Spidr：Ruby的網頁爬蟲庫，可將整個網站或鏈接完全抓取到本地。

這些開源爬蟲軟體工具各具特色，適用於不同的爬蟲需求和開發環境。

❷ 誰給推薦個免費小說下載器

在多特網站上搜索小說下載閱讀器，下載即可，只需知道小說名稱即可快捷地下載小說各章節內容，按喜歡的樣式愜意地閱讀小說內容，並可打包為各種樣式的電子書以方便閱讀，不僅可以閱讀小說，還可以聽小說、寫小說。

【軟體功能】
1、支持各小說網站的小說下載，同樣亦支持各類網路文章的下載。
2、可按小說名稱自動獲取小說目錄頁網址，並能隨小說網站的更新而更新。
3、能下載帶圖片的小說。
4、能自動優化章節內容，去掉不需要的內容。
5、簡單方便地設定背景色、字體大小、字體顏色進行閱讀，並可雙擊自動平滑滾屏。
6、能將整本小說打包為chm或txt格式電子書，以方便在手機或mp3等工具上閱讀。
7、支持背景音樂的播放，並可同步顯示歌詞。
8、支持書簽、批註、注音、簡繁轉換、拆分/合並章節、分卷/全文閱讀等。
9、可隨意編輯章節內容，查找及替換相應內容，並可自動排版。
10、可查看並設置章節是否已讀情況，方便地調整章節次序。
11、可通過不同的網址下載單獨的章節，能通過章節名稱獲取下載地址進行下載。
12、我的書櫃，可將所有製作好的電子書分門別類地排列，點擊閱讀。
13、支持用不同的語音來朗讀小說。
14、小說寫作助手可以方便地幫助您寫作小

❸ 33 款可用來抓數據的開源爬蟲軟體工具

推薦33款開源爬蟲軟體，助您獲取數據

網路爬蟲，即自動抓取網頁內容的程序，是搜索引擎的重要組成部分。了解爬蟲，有助於進行搜索引擎優化。

傳統爬蟲從初始網頁開始，抓取網頁並不斷抽取新URL，直到系統設定條件滿足。聚焦爬蟲則需分析網頁，過濾無關鏈接，保留有用鏈接進行抓取。爬蟲抓取的網頁被系統存儲、分析並建立索引，以便後續查詢。

開源爬蟲軟體數量眾多，本文精選33款，按開發語言分類。

Java爬蟲

• Arachnid：基於Java的Web spider框架，包含HTML解析器。可通過子類實現簡單Web spiders。


• crawlzilla：自由軟體，幫你建立搜索引擎，支持多種文件格式分析，中文分詞提高搜索精準度。


• Ex-Crawler：Java開發的網頁爬蟲，採用資料庫存儲網頁信息。


• Heritrix：Java開發的開源網路爬蟲，具有良好的可擴展性。


• heyDr：基於Java的輕量級多線程垂直檢索爬蟲框架。


• ItSucks：Java web spider，支持下載模板和正則表達式定義下載規則，帶GUI界面。


• jcrawl：小巧性能優良web爬蟲，支持多種文件類型抓取。


• JSpider：用Java實現的WebSpider，支持自定義配置文件。


• Leopdo：Java編寫的web搜索和爬蟲，包括全文和分類垂直搜索，以及分詞系統。


• MetaSeeker：網頁內容抓取、格式化、數據集成工具，提供網頁抓取、信息提取、數據抽取。

Python爬蟲

• QuickRecon：信息收集工具，查找子域名、電子郵件地址等。


• PyRailgun：簡單易用的抓取工具，支持JavaScript渲染頁面。


• Scrapy：基於Twisted的非同步處理框架，實現方便的爬蟲系統。

C++爬蟲

• hispider：快速高性能爬蟲，支持多線程分布式下載。

其他語言爬蟲

• Larbin：開源網路爬蟲，擴展抓取頁面url，為搜索引擎提供數據。


• Methabot：速度優化的高可配置web爬蟲。


• NWebCrawler：C#開發的網路爬蟲程序，支持可配置。


• Sinawler：針對微博數據的爬蟲程序，支持用戶基本信息、微博數據抓取。


• spidernet：多線程web爬蟲，支持文本資源獲取。


• Web Crawler mart：集成Lucene支持的Web爬蟲框架。


• 網路礦工：網站數據採集軟體，基於.Net平台的開源軟體。


• OpenWebSpider：開源多線程Web Spider和搜索引擎。


• PhpDig：PHP開發的Web爬蟲和搜索引擎。


• ThinkUp：採集社交網路數據的媒體視角引擎。


• 微購：社會化購物系統，基於ThinkPHP框架開發。


• Ebot：使用ErLang語言開發的可伸縮分布式網頁爬蟲。


• Spidr：Ruby網頁爬蟲庫，支持整個網站抓取。

以上開源爬蟲軟體滿足不同需求，提供數據抓取解決方案。請注意合法使用，尊重版權。