这几天迷上防采集了呵。
其实也不是迷上防采,而是对了解搜索有兴趣了哈。
动易系统中自带一个统计系统,我现在也是用着的,只是始终不能显示搜索爬虫的记录。
我自己写一个小程序,专门用来记录爬虫信息。测试了一天,感觉还行。后来在此基础上再次开发,便加入了防采集功能。说是防采集,其实不太准确,因为只是在采集的内容上做了点手脚,让别人采集去的文章里面有自己单独编写的内容(内容完全自定义,在采集的时候不会报错,会和一般正常的文章一样采集过去),也就相当于加入版权。
因为能够识别爬虫了,加上记录访问信息非常详细,而且我也是把爬虫记录(目前暂时只加入了各大搜索的爬虫,不常见的和不守规则的爬虫有待进一步完善)和一般的访问记录区别开的,所以只需要对一般的访问记录作分析,便可以找到采集痕迹。
利用这个方法,我初步在动易的采集程序上测试成功。后来有朋友问我能不能防火车头,我仔细研究了半天,发现火车头采集在某种基础上不遵守访问规则呵,实现有些难度。但最终我在最新版的火车头采集程序上测试成功。目前也仅是我个人测试成功,希望同样对防采集有兴趣的朋友也可以帮着我测试一下呵。
目前加入防采集的页面:本站网赚频道所有文章内容页面(http://www.yz81.com/WangZhuan/)。有兴趣的朋友可以来采集这个频道下的文章。。。希望测试过的朋友能把你测试的结果以及发现的问题反馈给我,以便改进呵。
新闻来源:WWW.YZ81.COM