百度爬虫

用noindex nofollow禁止百度爬虫收录特定网页

用noindex,nofollow严禁爬虫收录特定网页我们不希望网站的一些页面展现很多。有些页面是不必要被百度收录的,也不需要出现在搜索结果中供用户看到。此时,我们可以使用它noindex或nofollow严禁搜索引擎检索语法。为什么严禁检索网页?网页中的一些功能不需要被搜索,也不需要被爬虫抓住来寻找结果页面,如未完成的网站、后台管理页面、购物车、会员信息、版权声明、登录或用户留下的信息…没有必要