大家都知道检查robots.txt，对吗？不幸的是没有。 一是善意的开发人员，他们在重新开发网站后忘记更改 robots.txt 文件。 你可能认为这个问题现在已经解决了，但我仍然一次又一次地遇到随机网站，因为这个问题，整个网站都被屏蔽了。
该怎么做：访问 并确保它不显示
“User-Agent: * Disallow: /”。 这是一个精美的屏幕截图： 截图2017-01-04 17.58.30.png 在 Google 的索引中看起来像这样： 2-机器人-1.png 接下来做什么： 如果您看到“Disallow: /”，请立即与您的开发人员联系。
以这种方式设置可能有充分的理由，也可能是一个疏忽 telegram 数字数据 如果您有一个复杂的 robots.txt 文件（就像许多电子商务网站一样），您应该与开发人员一起逐行检查该文件，以确保其正确。 3.元机器人NOINDEX NOINDEX 有时可能比配置错误的 robots.txt 危害更大。
如果配置不正确
则不会将您的网页从 Google 索引中提取（如果它们已存在），但 NOINDEX 指令将删除具有该设置的所有网页。 通常，NOINDEX是在网站处于开发阶段时设置的。由于许多 Web 这次选举“对欧盟的未来具有决定性作用 开发项目的运行进度落后于计划，并且需要在最后一小时完成，因此可能会出现错误。
优秀的开发人员会确保将其
从您的实时网站中删除，但您必须确认。 该怎么办： 通过手 学生手机清单 动查看页面的源代码并搜索以下内容之一进行抽查： 4-noindex.png 90% 的情况下，您会希望它是“INDEX, FOLLOW”，或者什么都不是。如果您看到上述情况之一，则需要采取行动。
最好使用像 这样的工具一
次扫描网站的所有页面。 接下来做什么： 如果您的网站不断由您的开发团队更新和改进，请设置提醒以每周或在每次新网站升级后检查。 更好的是，使用 SEO 审核软件工具（例如 Moz Pro Site Crawl）安排网站审核 4. 每个 URL 一个版本：URL 规范化 普通用户并不真正关心您的主页是否单独显示，因为所有这些： 但搜索引擎会这样做，这种设置可能会破坏链接公平性并使您的工作变得更加困难。
Google 通常会决定对哪个
版本建立索引，但它可以安排 URL 版本的混合排名，这可能会导致混乱和复杂性。 Moz 的规范化指南完美地总结了这一点： 对于 SEO，规范化是指可以从多个 URL 加载的单个网页。这是一个问题，因为当多个页面具有相同的内容但不同的 URL 时，旨在转到同一页面的链接会被分割到多个 URL 中。