作业帮 > 综合 > 作业

Disallow是表示什么意思呢?

来源:学生作业帮 编辑:神马作文网作业帮 分类:综合作业 时间:2024/11/13 21:03:48
Disallow是表示什么意思呢?
Disallow是表示什么意思呢?
disallow 一般是用在robots.txt中的.表示禁止搜索引擎抓取.
Disallow,正是robots.txt文件中设置禁止搜索引擎收录哪些目录的一个词语.
如:
1.允许所有SE(搜索引擎)收录本站:robots.txt为空就可以,什么都不要写.
2.禁止所有SE(搜索引擎)收录网站的某些目录:
User-agent:*
Disallow:/目录名1/
Disallow:/目录名2/
Disallow:/目录名3/
3.禁止某个SE(搜索引擎)收录本站,例如禁止百度:
User-agent:Baiduspider
Disallow:/
4.禁止所有SE(搜索引擎)收录本站:
User-agent:*
Disallow:/
它的用途是告诉上一子集,确定某个对象用的.