信息采集的难点是什么? 数据比较复杂,形式多样;下载后的难点又是什么?数据管理。网络信息采集大师(netget)的主要功能,就是解决这两个问题。
网络信息采集大师立足于快速的信息采集,实时在线的信息监测,为企业决策,网站建设,本地局域网新闻系统建设等提供快速完整强大的方案。
现有功能简介:
1.采集信息类型丰富。可采集几乎任何类型的网站信息,包括静态htm,html类型和动态asp,aspx,jsp等。
2.网站登录。需要登录才能看到的信息,先在任务的'登录设置'处进行登录,就可采集登录后才能看到的信息。
3.速度快,运行稳定。真正的多线程,多任务,运行时cpu使用率极低,可稳定地长时间运行。(明显区别于其他软件)
4.数据保存格式丰富。可把采集的数据,保存为txt,excel和多种数据库格式(access sqlserver oracle mysql等)。
5.支持脚本。可设置脚本类型的任务,类似javascript:submit('page',1)等格式的可轻松采集。
6.强大的新闻采集,自动处理功能。可自动保留新闻的格式,包括图片等(可通过设置自动去除广告)。可通过设置,自动下载图片,自动把正文里图片的网络路径改为本地文件路径(也可保留原样);可把采集的新闻自动处理成自己设计的模板格式;可采集具有分页形式的新闻。 通过这些功能,简单设置后即可在本地建立一个强大的新闻系统,无需人工干预。
7.可设置采集一定数据量后,自动保存入库,自动清空内存。此功能可在占用系统资源很少的情况下,连续不间断地采集十万级和百万级数据。
8.信息自动再加工。对采集的信息,可进行二次批量再加工,使之更加符合您的实际要求。也可设置自动加工公式,在采集的过程中,按照公式自动加工处理,包括数据合并和数据替换等。
9.可自动下载二进制文件,比如图片,软件,mp3等。
10.实时监测和发布(任务调度)。指定某些任务自动运行,把采集的数据自动去掉重复之后导入数据库(可指定组合唯一项)。可循环往复运行。可指定某任务在某个时间点运行。
11.采集本地磁盘信息。使用'列表类型'的任务,可象采集网络上的信息一样,采集本地磁盘上的信息。
12.通过发布页面,把采集的数据发布到网站数据库。即用群发数据的方式,模拟人工提交数据。
13.无人值守采集。启动任务后,可自行采集,自动保存进数据库,采集完毕后自动关机。既可提高工作效率,又可最大限度节约能源。
14.对access, sqlserver, oracle, mysql数据库测试全面通过。