如何屏蔽广告蜘蛛疯狂爬取网站?

网站建设 · 2020-11-04
今天打开网站发现网速很慢,去网站后台看了一下,原来是神马搜索、搜狗搜索、bing搜索的蜘蛛在疯狂的爬我的网页,还留下一串串广告。9OBIT米工网
      9OBIT米工网
9OBIT米工网
现将屏蔽这些广告蜘蛛的方法整理如下:9OBIT米工网
在你网站的robots.txt文件中添加如下代码,保存生效即可
屏蔽神马搜索9OBIT米工网
User-agent: yisouspider9OBIT米工网
Disallow: /9OBIT米工网
9OBIT米工网
屏蔽搜狗搜索9OBIT米工网
User-agent: Sogou web spider9OBIT米工网
Disallow: /9OBIT米工网
User-agent: sogou spider9OBIT米工网
Disallow: /9OBIT米工网
User-agent: *9OBIT米工网
Disallow:9OBIT米工网
9OBIT米工网
屏蔽bing搜索9OBIT米工网
User-agent: MSNbot9OBIT米工网
Disallow: /9OBIT米工网
 
9OBIT米工网
9OBIT米工网