猿对象
网站运营SEO技术博客

普通外贸网站的robots.txt文件怎么写

spider在访问一个网站时,首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件,这个文件用于指定spider在你的网站上的抓取范围。你可以在网站中创建一个robots.txt,在文件中声明。该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。请注意,仅当你的网站包含不希望被搜索引擎收录的内容时,才需要使用robots.txt文件。

接下来看看robots.txt文件应该怎样写?

一、User-agent:意思是定义搜索引擎类型

因为搜索引擎有好几种:百度蜘蛛:Baiduspider,谷歌蜘蛛:Googlebot,360蜘蛛:360Spider,搜狗蜘蛛sogou spider。一般没有特殊要求的话,正确写法是:User-agent: * 意思是允许所有搜索引擎来抓取。这是robots.txt文件中第一行的写法。

二、Disallow:意思是定义禁止抓取的地址

就是禁止蜘蛛抓取的地址,在我们的网站是静态或伪静态的时候一般网站要禁止蜘蛛抓取动态路径(?)、.js、后台的文件等一些不想让蜘蛛抓取的文件。它的正确的写法如下:

Disallow: / 禁止蜘蛛抓取整站(一定不能这么写,这样会让所有搜索引擎不来抓取你的网站内容)。

Disallow: /wp-admin/ 禁止抓取网站中带wp-admin的文件夹。

Disallow: /page/ 禁止抓取网站中带page的文件夹。

Disallow: /? 禁止抓取网站中的所有动态路径。

Disallow: /.js$ 禁止抓取网站中的所有带.js的路径。

Disallow: /*.jpeg$ 禁止抓取网站中所有jpeg图片。

三、Allow:意思是定义允许抓取收录地址

这个就不需要多说了,就是允许的意思,在robots文件中不写Allow意思就是默认的允许,因此大家没必要写上。注意千万不要写成这样:

User-agent: *

Disallow:/

网站想要让所有的搜索引擎抓取,除了谷歌。

User-agent: *

Allow: /

User-agent: Googlebot

Disallow: /

如果网站里面有死链接、网站被攻击时来不及删除的目录文件和链接、重复的页面或者内容及隐私性的内容等,都不想被搜索引擎蜘蛛抓取,robots.txt文件的作用就体现了。我们要注意的是robots.txt必须放置在一个站点的根目录下,而且文件名必须全部小写。

内容查看此内容仅限注册用户查看,请先
客服QQ:193056527
文章类别:外贸 / 外贸运营

如有转载,请注明本文链接: https://www.qi70.com/9868.html

赞(1) 微信
本站点的内容仅供学习、分享与交流,不保证内容的正确性。通过使用本站内容随之而来的风险与本站无关。知识文章以及源码仅供参考学习,当使用本站时,代表你已接受本站的声明和隐私原则等条款。猿对象_外贸SEO网络建设平台运营博客 » 普通外贸网站的robots.txt文件怎么写
分享到: 更多 (0)

您需要什么服务吗?加微信(w5267q) 抢沙发

专业网站运营,云服务器技术分享!

阿里云优惠购买购物优惠网

如有需要或者帮助可以加我微信O(∩_∩)O~

支付宝扫一扫打赏

微信扫一扫打赏