但是，这些页面仍然可以通过搜索找到，所以最好将它们从robots.txtHEAD中删除，并在不应被索引的页面的标签之间添加 noindex 标签。
从选定页面中删除 Meta nofollow
现在，这显然并不适用于每个具有 nofollow 标签的页面，但许多 nofollow 标签经常被错误地与 noindex 标签一起添加。删除nofollow指令将改善 手机数据 网站周围的链接权限和爬虫访问的流动。
虽然搜索引擎不需要索引这些页面，但它们链接到的页面可能会被索引，因此应该跟踪这些链接。
#索引中的开发站点
当我审核潜在客户的网站时，我喜欢找到 廣告庫 一个仍然被索引的临时网站。这表明开发人员缺乏关心，并且可以成为在双方关系初期让客户站在你这边的好方法。
锁定测试环境以防止被索引的最佳方法是使用密码保护它或根据 IP 范围进行限制。
可以使用一些快速方法来检查你的开发网站是否被 Google 编入索引，例如
检查您的 XML 网站地图
如果没有自动生成，XML 站点地图通常会被遗忘。以下 3 项快速检查总共耗时不到 5 分钟：
检查 1 – XML 站点地图是否链接在 robots.txt 中？
搜索引擎爬虫总是会在网站的根文件夹 定主要关键词但不要过度使用 中寻找 robots.txt 文件。因此，在 robots.txt 中添加指向您的 XML 站点地图的链接会将所有主要搜索引擎指向您的位置。
检查 2 – XML Google Search Console？
将 XML 站点地图提交到 Google Search Console 可确保 Google 能够找到并抓取它们。提交后，您可以查看 Google 是否能够发现您的页面网址：
XML 站点地图是否已添加到 Google Search Console？](image3.png)
检查 3 – XML 站点地图中是否存在错误？
站点地图 URL 不应重定向或返回错误：所有页面都应返回 200 OK 状态代码。如果站点地图包含太多错误，搜索引擎可能会完全忽略它。
提交 XML 站点地图后，您可以通过查看 Google Search Console 来查明站点地图是否有错误。或者，您可以通过选择“模式”>“列表”>“加载”>“下载 XML 站点地图”在 Screaming Frog 中抓取 XML 站点地图。
从索引中删除旧内容
您上次查看旧内容（例如 2017 年结束的比赛页面）是什么时候？