雨哲浅谈关于防采集而不影响收录内容篇

载入中
让站长最头痛的事,除了程序和服务器安全外,可能就要算内容被采集了。
当然,现在网络本身就是资源共享,我这里不谈采集的对错,只是就防采集说说个人看法。
防采集是很麻烦而且累人的事,你做的再好,别人要采还得采。累人就在于要防别人采集,还要不影响搜索引擎收录(大部分个人站长的站的生存都寄于百度和Google)。所以要防采集,就得先不影响收录,所以我们先要分析到如何分辨搜索爬虫。
一、如何分辨搜索爬虫
以前,在网上看到过关于用asp代码来捕捉搜索爬虫的代码,通过代码把爬虫的访问记录记录到文件。就此代码(原作者未知)我作了修改,加入程序中防采集。现做成函数,直接在页面中调用。
雨[http://www.yz81.com]213939哲提示:代码片段
Function CheckSearchRobots(SearchRobotsAgent)
CheckSearchRobots = False
'自定义搜索爬虫,因篇幅关系,这里只是加入国内主要搜索引擎爬虫部分记录
Dim SearchRobots:SearchRobots="Baidu@Baidu|Google@Google|crawler@alexa|Yahoo@Yahoo|sohu@Sohu|MSN@MSN|QihooBot@Qihoo"
dim ArrSearchRobots,ArrSearchRobots2,SearchRobotsTrue,SearchRobotsName,iSearchRobots
SearchRobotsTrue = False
ArrSearchRobots = split(SearchRobots,chr(124))
For iSearchRobots = 0 To Ubound(ArrSearchRobots)
ArrSearchRobots2 = split(ArrSearchRobots(iSearchRobots),"@")
If Instr(lcase(SearchRobotsAgent),lcase(ArrSearchRobots2(0))) > 0 then
SearchRobotsTrue=true:SearchRobotsName=ArrSearchRobots2(1):exit for
End If
Next
If SearchRobotsTrue and len(SearchRobotsName)>0 then'如果是爬虫,就更新爬虫信息
CheckSearchRobots = True
End If
End Function
将以上代码放在asp程序中(具体如何放置请参考相关文章),然后在需要调用的地方作如下调用:
雨[http://www.yz81.com]214053哲提示:代码片段
If CheckSearchRobots(SearchRobotsAgent) = False Then
Response.Write "非搜索引擎,可作部分限制!" '这里可以加入判断指定时间的刷新次数,比如在正常情况下,访问速度是N次/分,如果超过这个次数(超常规访问)就可以限制了。
End If
二、限制超常规访问。
下面说说如何限制别人的超常规访问。下面代码来源于互联网(原作者未能找到)。我作了部分修改和说明。
雨[http://www.yz81.com]214153哲提示:代码片段
Sub CheckAppeal()
Dim AppealNum,AppealCount
AppealNum=10 '同一IP60秒内请求限制次数
'雨哲[Yz81.Com]站长测试结果一,如果限制为10次,动易采集结果,一分钟能采集成功12篇,失败8篇。
'雨哲[Yz81.Com]站长测试结果二,如果限制为8次,动易采集结果,一分钟能采集成功9篇,失败11篇。
AppealCount=Request.Cookies(AppealCookies)
If AppealCount="" Then
Response.Cookies(AppealCookies)=1
AppealCount=1
response.cookies(AppealCookies).expires=dateadd("s",60,now())
Else
response.Cookies(AppealCookies)=AppealCount+1
response.cookies(AppealCookies).expires=dateadd("s",60,now())
End If
if int(AppealCount)>int(AppealNum) then
Response.Write "兄弟,爬了这么久,歇会儿吧,别累坏了身体!"
'这里的提示完全可以自定义,我的做法是另外转到一个和当前文章模板完全一致的页面,当然内容是自定义的。
'有兴趣的朋友也可以采集<a class="channel_keylink" href="http://www.yuzhe.name">雨哲</a>在线的http://www.yz81.com/wanzhuan/频道下面的文章。
Response.end
End If
End Sub
将以上代码放在asp程序中(具体如何放置请参考相关文章),然后在需要调用的地方作如下调用:
雨[http://www.yz81.com]214236哲提示:代码片段
Call CheckAppeal()
以上仅雨哲个人看法,如有不对,敬请指出,谢谢。

第 1 幅 ( 点击查看原图 )
雨哲浅谈关于防采集而不影响收录内容篇
作者:雨哲 责任编辑:雨哲
文章来源:雨哲在线
给文章部分内容增加权限[类似论坛购买贴][11-09]
留言本仿论坛模板及部分功能[11-08]
雨哲自定义表单系统 For SiteWeaver[11-07]
在线支付模板管理[11-07]
全站搜索 For SiteWeaver 通用[11-07]
企业会员展示系统[11-07]- 用户信息中心
- 与本文章相关内容
-
- >> [雨缘博客]好友雨哲 [日期:2008-11-02 19:14:55]
- >> [雨缘博客]雨哲软件防盗链系统II For [日期:2008-06-03 16:29:54]
- >> [文章教程]雨哲防采集策略之总结篇 [日期:2008-04-27 20:23:20]
- >> [文章教程]雨哲防止机器登陆之表单项修 [日期:2008-04-06 22:35:40]
- >> [文章教程]雨哲防采集策略之列表篇 [日期:2008-04-05 13:15:40]
- >> [雨哲网赚]百度指数和搜索量的关系 [日期:2008-04-04 12:03:54]
- >> [雨哲网赚]精灵:解读CMS对搜索引擎友好 [日期:2008-04-04 11:54:51]
- >> [雨哲网赚]百度撤消更多相关搜索页面 [日期:2008-04-03 11:19:41]
- >> [雨缘博客]真正的动易全站搜索(多模块 [日期:2008-03-30 02:46:10]
- >> [新闻信息]关于本站统一联络方式公告 [日期:2008-01-31 17:28:42]
- 热门排行TOP10
-
- 1WORD 页眉设置 技巧 (3869)
- 2在线播放FLV格式文件 (3529)
- 3关于动易会员中心模 (3230)
- 4雨哲增强SiteWeaver (3114)
- 5无限级树型栏目导航 (2695)
- 6xxmrxut.exe病毒的手 (2225)
- 7小谈关于动易聚合空 (2163)
- 8完美CSS控制图片大小 (2067)
- 9如何在静态HTML页面 (2038)
- 10WindowsServerServi (1857)
- 推荐排行TOP10
-
- 1在线播放FLV格式文件 (3529)
- 2在网页右下角添加书 (1730)
- 3[ASP]隐藏文件下载地 (1575)
- 4雨哲浅谈关于防采集 (1404)
- 5一段asp高亮关键字代 (1362)
- 6在文字前加上与文字 (1254)
- 7文字自动适应Table( (1243)
- 8自定义标签设置搜索 (1238)
- 9[雨哲]关于增强会员 (1237)
- 10ASP 程序实现自动升 (1229)
