SEO中robots文件的作用及关注事项
发布时间：2022-01-11 11:36:12 所属栏目：搜索优化 来源：互联网
导读：现在基本上所有的优化站点中都有加入robots文件，但是也有一部分SEOer们对于robots文件不是很了解。今天我们就一起来学习学习关于robots文件的相关内容。 1、每一个网站中只能有一个robots文件，文件命名都是robots.txt 2、robots.txt文件正确的位置是放在网
|
现在基本上所有的优化站点中都有加入robots文件，但是也有一部分SEOer们对于robots文件不是很了解。今天我们就一起来学习学习关于robots文件的相关内容。 1、每一个网站中只能有一个robots文件，文件命名都是robots.txt 2、robots.txt文件正确的位置是放在网站优化的根目录下，如果位于子目录下则该文件无法访问 3、robots.txt文件不能够阻止任何文件的访问，只能够阻止搜索引擎对内容的索引，它是一个公共资源，如果使用不正确，就会将相关内容暴露给黑客 4、robots.txt文件的写法 User-agent:* Disallow:/ 阻止搜索引擎对任何内容的访问，网站所有页面将不会被收录 User-agent:* Disallow:/directory 阻止对directory开始的所有信息的访问 User-agent:* Disallow:/directory/ 阻止搜索引擎对/directory/目录的访问 User-agent:* Disallow:X Disallow:Y Disallow:Z User-agent:googlebot Disallow:Z 对于Google只是阻止对Z的访问，而不是X，Y，Z User-agent:* Disallow:X Disallow:Y Disallow:Z User-agent:googlebot Disallow:X Disallow:Y Disallow:Z 阻止google对X，Y,Z的访问 （编辑：武汉站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
