# ----------------------------------------------------------------------------- # fileEncoding = UTF-8 # # 禁止爬虫爬取无效URL,提升网站核心静态资源抓取及索引效率。 # 无效URL包含:已下线产品线的URL,全动态URL,需权限验证的URL,存在问题的旧静态URL # 各种无需被SEO收录的URL。 # ----------------------------------------------------------------------------- User-agent: * Disallow: /power/ Disallow: /power/system/ Disallow: /english/ Disallow: /taiji/ Disallow: /yl/ Disallow: /power/ Disallow: /hbgdw/ Disallow: /zygl/ Disallow: /wh/ Disallow: /bk/ Disallow: /nr/ Disallow: /cd/ Disallow: /ts/ Disallow: /hj/ Disallow: net.hebei.com.cn/ Disallow: net.hebei.com.cn/xwzx/ Disallow: dianshang.hebei.com.cn Disallow: dianshang.hebei.com.cn/ Disallow: news.hebei.com.cn/sh/zlbb/ Disallow: news.hebei.com.cn/gj/hqtp/ Disallow: xh.hebei.com.cn/