取消robots文件的禁止抓取

作者:武汉味美食家餐饮管理有限公司 来源:www.cj17917.com 发布时间:2018-10-16 10:04:09
爬行、抓取、索引、收录,指的都是什么? taobao-robots.jpg

百度从网上那么多链接知道淘宝首页的存在,通过链接的锚文字也知道这个页面标题大概是淘宝之类的,当然更知道百度口碑里的评价数。所以即使百度蜘蛛没有抓取淘宝首页,用户还是能搜到,并且显示一些百度知道的信息。

要想百度不能返回淘宝首页该怎么办呢?取消robots文件的禁止抓取,页面上用noindex禁止索引。

被抓取的页面是可以不被索引的

最常见的就是上面说过的,页面头信息使用noindex禁止索引,页面被抓取,读到noindex后,不被索引,不会在搜索结果中返回。

推荐阅读/观看:宜昌微信开发 https://www.18627148925.com


  • 上一篇:Bootstrap3和Foundation5的网格系统比较
  • 下一篇:最后一页
  • 
    COPYRIGHT © 2015 武汉味美食家餐饮管理有限公司 ALL RIGHTS RESERVED.
    本站所有原创信息,未经许可请勿任意转载或复制使用 网站地图 技术支持:肥猫科技
    精彩专题:网站建设
    购买本站友情链接、项目合作请联系客服QQ:2500-38-100