从技术优化中获得最大利益。 7 使用 Robotstxt 的最佳实践 使用服务文件通常并不困难，但在推广大型项目时，创建理想的规则集可能很困难。 优化 robotstxt 需要时间和相关经验。在线扫描仪可以让您节省资源，但不能满足您的所有需求，因此不能放弃手动分析。 有效使用 robotstxt 的技巧对于任何经验水平的网站站长都非常有用。有时，即使是一个小错误也会毁掉大量已完成的工作
，需要迅速注意到。 71 每个指令使用一个新行 初学者在开始理解robotstxt的语法时，经常会犯一个错误，即把规则写在一行里。这给搜索引擎机器人带来了问题。 为了保护自己免受负面后果的影响，您需要将每条规则另起一行用。 糟 电话号码清单 糕转化率最高但主 电话号码清单 要针对现有客的是： 用户代理：* 禁止：/admin-panel 美好的： 用户代理：* 禁止：/admin-panel 72 每个用户代理仅使用一次 当新的 SEO 专家开始想知道 robotstxt 中应该包含什么内容时，很少有人记得正确使用用户代理的必要性。找到流行蜘蛛的列表不是问题，但这还不是全部。 如果为一
项作业创建了 50 条规则，则应将它们合并。机器人自我合并不会有任何问题，但从文件易用性的角度来看，这样做也更好。 糟糕的是： 用户代理：bot 禁止：/admins-panel …。 用户代理：bot 允许：/blog 美好的： 用户代理：bot 不允许：/admins-panel 允许：/blog 73 为不同的子域创建单独的 Robotstxt 文件 当推广上千个页面、几十个子域名的大型项目时，需要对每个目录分别进行优化。事实上，对于搜索引擎来说，子域就是一个新站点。 Robotstxt 可以是模板，但必须放置在搜索中推广的所有子域的根目录中。此规则不适用于对用户关闭的技术子域。 74 |
