robots.txt与rel=”nofollow”

一个网站上经常会有大量的网页,质量参差不齐,其中很多可能是我们不想让搜索引擎收录的。

针对页面不让搜索引擎收录的问题,在各种情境下有多种相应最优的解决方法。其中robots.txt与rel=”nofollow”是最广为人所知的。

robots。txt是一个放在网站根目录下的文件,通过一定的规则来配置,告诉搜索引擎不要抓取哪些页面,对于部分搜索引擎,还支持robots提交sitemap、限制抓取频率等功能。

rel=”nofollow”通常是加在链接上的一个属性,告诉搜索引擎不要去抓取那个链接。但如果这个页面的链接在其它地方也有出现,它还是可能被收录。

SEO视频教程待更新。