乱想SEO之如何吸引搜索引擎蜘蛛
ok，当你已经选取好关键字，那么你考虑的应该是如何吸引搜索引擎爬虫了。还没完成选取关键字的童鞋请移步乱想SEO之如何选取关键字，就在隔壁班，请补完课再过来，呵呵，玩笑。
吸引搜索引擎蜘蛛不但可以帮助搜索引擎找到你的站点，更重要的是可以帮助搜索引擎正确地为你站点的全部网页建立索引。现在，所以主流搜索引擎都通过搜索引擎蜘蛛（又叫爬虫或者机器人）来搜寻网络、收集网页、分配唯一标识、扫描文本并提交给索引程序。
意识到吸引搜索引擎蜘蛛的重要作用了吧。总的来说，吸引搜索引擎蜘蛛来你的新网站有这么几种方法：
第一种方法当然是向搜索引擎主动提交你的新网站的url，具体提交网址在怎样让搜索引擎更容易搜索到你的个人网站有写到。第二个方法是建立友情链接。当蜘蛛在与你建立友情链接的网站发现本你站点的链接，从而收录你的网站。第三种方法是向搜索引擎提交一份新站点的网站地图。Google有，百度没的。
第四种方法，也是终极方法，也是需要资本的，就是从一张已经被索引的页面重定向到新页面，可以使用301重定向。
下面就以Google的搜索蜘蛛为例，讲下Google的蜘蛛Googlebot。Googlebot不会因为你想就会收录你的网站。但是，我们可以控制Googlebot爬取哪些页面、降低抓取效率或者控制每次抓取的深度。阻止Google抓取某些特点页面的最佳方法是使用robots.txt。robots.txt文件的每块的第一行是蜘蛛的名称，接下来是不允许访问的目录或文件，块与块之间用空行分隔。如：
User-agent:*
Disallow:/images
User-agent:Googlebot
Disaloow:/copyright
更具体的方法详见http://www.google.cn/intl/zh-CN/webmasters/
至于创建站点地图，也是详见http://www.google.cn/intl/zh-CN/webmasters/
评论(2)▼