Googlebot 有哪几种?
Googlebot 我们一般称为谷歌机器人或谷歌探测器。
谷歌“派遣”了不同的Googlebot 对网页内容进行获取。主要包括:
Googlebot:主要抓取网页中的文字内容。获取的内容保存于谷歌网页搜索和新闻搜索的数据库。我们一般谈的谷歌机器人主要指这个。
Googlebot-Mobile:主要抓取网页中的文字内容,用于谷歌手机搜索。
Googlebot-Image:主要抓取网页内的图片内容,保存入谷歌图片搜索数据库。
Mediapartners-Google:抓取网页中的文字内容,用于Google Adsense 分析关键词。只有投放了Google Adsense 的网页才会被 Mediapartners-Google 探测器爬取。
Adsbot-Google:抓取网页中的文字内容,用于为Google AdWords 提供参考。只有Google AdWords 的目标网页才会被 Adsbot-Google 探测器爬取。
Googlebot 和Mediapartners-Google 是非常勤奋的机器人,如果他们影响到你服务器的承受力,你可以通过 robots.txt 文件加以制止。
如果您想进一步了解相关知识,可以参考以下资料: