网络爬虫工具(NWebCrawler) 1.0.1 绿色版

网络爬虫工具(NWebCrawler) 1.0.1 绿色版,简体中文免费软件,开发管理,网站源码

软件类别：开发管理 » 网站源码
软件属性：简体中文免费软件
系统平台：Win2003/Win2000兼容软件
官方网站：暂无

免费试用版

立即下载

NwebCrawler是用C写的一款多线程网络爬虫程序，它的实现原理是先输入一个或多个种子URL到队列中，然后从队列中提取URL（先进先出原则），分析此网页寻找相应标签并获得其href属性值，爬取有用的链接网页并存入网页库中，其中用爬取历史来记录爬过的网页，这样避免了重复爬取。提取URL存入队列中，进行下一轮爬取。所以NwebCrawler的搜索策略为广度优先搜索。采用广度优先策略有利于多个线程并行爬取而且抓取的封闭性很强。功能介绍：可配置：线程数，等待时间，连接超时，允许MIME类型和优先级，下载文件夹。统计信息：URL数量，总下载文件，总下载字节数，CPU利用率和可用内存。Preferential crawler：用户可以设置优先级的MIME类型。

下载地址：

http://down10.zol.com.cn/20190311/87159.zip/

网络爬虫工具(NWebCrawler) 1.0.1 绿色版

下载地址：

推荐客服

在线客服

您可能需要的服务换一批

023-73333036

园区动态

产业扶持

服务超市

创新支撑

金融服务

政策资讯