
Soukey采摘网站数据采集软件 V1.61
无病毒 无插件网站数据采集软件,支持多任务,多线程数据采集,完全免费,代码开源,遵循BSD协议。下载文件为rar自解压文件,运行环境需:Microsoft .net Framework 2.0
【软件功能】
1、多任务多线程数据采集,支持GET、POST,支持采集Ajax页面,支持Cookie,支持手工登录采集数据;
2、数据采集系统会默认保存采集数据,同时系统支持文本、Excel、Access、MSSql、Mysql等格式的数据发布,
网站数据采集软件,支持多任务,多线程数据采集,完全免费,代码开源,遵循BSD协议。下载文件为rar自解压文件,运行环境需:Microsoft .net Framework 2.0
【软件功能】
1、多任务多线程数据采集,支持GET、POST,支持采集Ajax页面,支持Cookie,支持手工登录采集数据;
2、数据采集系统会默认保存采集数据,同时系统支持文本、Excel、Access、MSSql、Mysql等格式的数据发布,支持在线发布(Web发布),但为严格测试;
3、网页数据采集支持导航,支持下一页自动翻页,同时采集数据支持文件下载,可以采集图片、Flash及其他文件;
4、支持采集数据加工,可对已采集的数据进行字符串的加工,包括替换、附前缀后缀、截取等操作,支持正则;
5、采集网址支持外部定义参数,通过字典数据可支持网址参数的自定义,同时网址参数支持数字、日期、字母等各种参数,基本满足当前大部分采集有规律网址的需求;
6、支持一个任务多实例运行;
7、定时任务,可定时(每天、每周)自动执行采集任务,外部可执行文件或数据库存储过程等;
8、增加网址导航深度,原来仅支持1级导航,此次修改后,对导航深度不做限制;
9、增加任务触发器,可在任务启动或完成时自动触发执行各种任务,包括:Soukey采摘任务、外部可执行文件 或存储过程;
10、提供任务高级配置:可控制网址出错后重试,可输出出错网址到日志,也可将发布出错的数据输出到日志;
11、增加系统配置,但当前系统配置没有太多内容,提供了动态帮助入口,后期扩展帮助文档即可;
