|
阅读：3831回复：12
转载:伪装成搜索引擎蜘蛛google bot访问需注册网站
伪装成搜索引擎蜘蛛google bot访问需注册网站
2009/10/07 16:08 伪装Googlebot。许多网站访问时需要注册，但用Google、Baidu等搜索引擎搜索时却可以搜索到全文。这是因为网站对访问者的 User Agent进行了判断，如果是bot，则允许其访问；如果是一般用户，则自动跳转到登陆页面。用User Agent Switcher就可以把自己伪装成Googlebot，进而不用注册也可以访问这些网站。 那么我们也可以伪装成搜索引擎来进入这些页面。我们需要的是修改浏览器的User-Agent值。 Firefox用户 去下载一个名字为User Agent Switcher的插件扩展， 在火狐菜单的“工具”里，选择User Agent Switcher中的 Googlebot/2.1 默认就行了，当然，你也可以把Googlebot/2.1 内容改为(http://www.googlebot.com/bot.html) 。 IE用户： 把下列代码保存为 g.reg，双击导入到注册表中： Windows Registry Editor Version 5.00 [HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\CurrentVersion\Internet Settings\5.0\User Agent] @="Googlebot/2.1" "Compatible"="+http://www.googlebot.com/bot.html" 这样我们就伪装成Google Bot了。 大家可以把实验结果通报一下, 是否可行 此篇文章意义重大 |
|
|
|
1楼#
发布于：2010-02-05 11:23
早就用过.
有些旧论坛可能有用, 新论坛是无效的. 另外有些不想被google收录的小众的论坛使用googlebot的UA还可能会产生一些不能登录的问题. |
|
|
2楼#
发布于：2010-02-05 11:23
测试有效，鸡冻，不仅能显示缩略图，且能像注册用户一样下载附件
|
|
|
|
3楼#
发布于：2010-02-05 11:23
试了下远景、卡饭不行啊。
|
|
|
4楼#
发布于：2010-02-05 11:23
借帖问问题：这个方法可以起到类似于“google快照”的作用么？
有时候要看个啥消息又懒得翻墙，就直接用快照代替了。 |
|
|
5楼#
发布于：2010-02-05 11:23
自己去看看GOOGLE快照是不是“凡是论坛都能看”
|
|
|
6楼#
发布于：2010-02-05 11:23
方法不错Agent
|
|
|
7楼#
发布于：2010-02-05 11:23
我怎么测试不行
|
|
|
8楼#
发布于：2010-02-05 11:23
有弄了次
|
|
|
9楼#
发布于：2010-02-05 11:23
可不可以自己在about:config里去改?.
改成"Googlebot/2.1; +http://www.google.com/bot.html" 就好? 键值名叫什么? 这里没有啊.  |
|
|
|
10楼#
发布于：2010-02-05 11:23
新建 general.useragent.override 字符串
|
|
|
11楼#
发布于：2010-02-05 11:23
|
|
|
|
12楼#
发布于：2010-02-05 11:23
没效果，而且论坛登陆页面打不开。
|
|
