但是品的新用户来说，这些页面并不是最重要的。 Google 需要花费时间和金钱来抓取我们的网站，因此他们需要相应地制定预算。通过管理此抓取预算，我们可以引导搜索引擎找到我们最有价值和最重要的页面。 无索引 我们不需要为网站上的每个页面编制索引。 在 robots.txt 文件中对某些页面进行 meta-noindex 或禁止是完全可以接受的 — 事实上，这是预料之中的。
这是因为索引所有内容可能意味着 Google 可能不会抓取我们所有的页面，因此 哥斯达黎加电话号码资源 他们可能不会索引我们所有的内容。这将是一个问题，因为这可能意味着我们的一些高价值、转化率最高的页面可能不会自然排名。 话虽如此，我们不应该在未进行适当研究的情况下就对电子商务网站的大量内容不进行索引。如果对大量内容不进行索引，我们就会错失关键搜索行为（例如位置、产品尺寸等）的排名潜力。
URL 参数的使用 作为电子商务网站的用户或所有者，我们可能对 URL 参数很熟悉。我们经常看到这些参数的地方包括： 分面导航 产品分类 robots.txt 文件中通常会屏蔽分面导航页面和产品排序选项，但最好找出 Google 仍在向搜索者提供多少此类页面。我们可以在所选的抓取工具中选择忽略 robots.txt 规则的选项来执行此操作。