SA Data

滚动时，您会看到相关产品的链接也可以在其缓存中找到。如果您在这里看到它们，则意味着机器人也不难找到它们。 但是，请记住，您在缓存中看到的确切产品的链接可能与页面上的实时版本不同。轮播中的产品轮换是正常的，因此您不必担心特定链接的差异。 但 Target.com 究竟有何不同？他们利用了动态渲染。他们提供初始 HTML 和轮播中的产品链接，因为静态 HTML 机器人可以处理这些链接。


但是，您必须记住，动态渲染会增加一层额外的复杂性，对于大型网站来说，这 俄罗斯电话号码库 可能会很快失控。我最近写了一篇关于动态渲染的文章，如果您正在考虑这个解决方案，那么这篇文章是必读之作。 此外，爬虫可以访问产品轮播并不能保证这些产品会被编入索引。但是，这将极大地帮助它们浏览网站结构并了解页面之间的依赖关系。 3. 在 robots.txt 中阻止重要的 JavaScript 文件 错误地在 robots.txt 中阻止抓取工具使用 JavaScript 可能会导致严重的索引问题。


如果Google 无法访问和处理您的重要资源，它又该如何索引您的内容呢？ 有罪：Jdl-brakes.com 如果没有适当的网站抓取，就不可能全面评估一个网站。但查看其 robots.txt 文件已经可以让您识别出任何被阻止的关键内容。 Jdl-brakes.com 的 robots.txt 文件就是这种情况。如下所示，他们使用 Disallow 指令阻止了 /js/ 路径。它使所有内部托管的 JavaScript 文件（或至少是重要的文件）对所有搜索引擎机器人都不可见。