robots是Robots Exclusion Protocol 这个大家都知道,当你的网站一直没有被百度收录的时候,我们可以利用allow这个来提交你的重点网页,让搜索引擎收录你的网页
这个情况只针对于网页未被搜索引擎收录的情况 ,如果你的页面已经被收录了,放入robots是没有用的,只会占用资源
先了解一下常用的2个属性
Disallow:用于告诉搜索引擎不可以抓取的页面。
Allow:用于告诉搜索引擎可以抓取的页面。
1、使用网站地图来引导百度
网站地图是很多站长都会使用的,将网站地图放入 allow 中可以引导百度抓取你的页面
当然这也是有弊端的,网站地图包含的页面太多,把网站地图放进入,搜索引擎会把你重要的页面和不重要的页面全部都进行检索
2、将重要的页面放入allow中
这样的话百度将会优先检索你的重要页面,快速收录你的重要页面
当你网站长时间未收录,可以放一些重要页面到allow中,这样百度会优先抓取这些页面,还未被搜索引擎收录的网站可以试试这个办法。
发表评论