资讯干货

了解优化推广技术相关资讯

我要推广
如何通过robots.txt文件屏蔽蜘蛛抓取不存在的后缀
来源:互联网 | 作者:mtimes | 发布时间: 2021-04-13 | 785 次浏览 | 分享到:
很多时候,我们在分析网站访问日志的时候,通过网站日志分析,会发现搜索引擎蜘蛛抓取了一些网站上不存在的文件后缀,如:.php、.asp、.aspx等。
很多时候,我们在分析网站访问日志的时候,通过网站日志分析,会发现搜索引擎蜘蛛抓取了一些网站上不存在的文件后缀,如:.php、.asp、.aspx等。

    我们可通过robots.txt文件禁止蜘蛛抓取不存在的后缀,减少出现404返回值。

    在robots.txt文件填写屏蔽规则如下:

    Disallow: /*.asp$

    Disallow: /*.php$

    Disallow: /*.aspx$

    注意前面一个*,后面一个$,代表后缀。

    这样,守规则的合法搜索引擎就会在抓取的时候忽略掉对应的后缀文件的访问和抓取。
声明:本站为长春微时代文化传媒有限公司官方网站,本站发布的内容以原创、转载、分享网络内容为主,如有侵权,请联系电子邮箱:84784367@qq.com,我们将会在第一时间删除。文章观点不代表本站立场,如需处理请联系我们。