seo优化问题:蜘蛛抓取不存在的链接

从SEO角度看的无效URL,蜘蛛抓取这些无效的URL并不能产生SEO作用,反倒有负面作用,所以这些URL不收录为好,原因包括:
  1、大量过滤条件页面内容重复或极为类似。
  2、大量过滤条件页面没有对应产品,页面无内容。
  3、绝大部分过滤条件页面没有排名能力,却糟蹋必定权重
  匍匐大量过滤条件页面极大糟蹋蜘蛛匍匐时刻,造成有用页面收录机会下降过滤条件页面组合起来是巨量的。

  那么怎样尽量使这些URL不被匍匐和索引、收录呢?
  榜首:不想收录的URL保持为动态URL,甚至故意越动态越好,以阻挠被匍匐和收录。但是,搜索引擎现在都能匍匐、收录动态URL,并且技术上越来越不是问题。虽然参数多到必定程度确实不利于收录,但4、5个参数通常还能够收录。我们无法承认需求多少参数才能阻挠收录,所以不能当作一个可靠的办法。并且这些URL接收内链,又没有什么排名能力,仍是会糟蹋必定权重。
  第二:robots禁止收录。同样,URL接收了内链也就接收了权重,robots文件禁止匍匐这些URL,所以接收的权重不能传递出去,页面成为权重只进不出的黑洞。
  连向这些URL的链接配合nofollow也不完美,和robots禁止类似,nofollow在Google的效果是这些URL没有接收权重,权重却也没有被分配到其它链接上,所以权重同样糟蹋了。百度据称支持nofollow,但权重怎么处理未知。
  将这些URL链接放在Flash、JS里也没有用,搜索引擎已经能够匍匐Flash、JS里的链接,并且估计以后越来越擅长爬。很多SEO忽略了的一点是,JS中的链接不仅能被爬,也能传递权重,和正常连接相同。
  也能够将过滤条件链接做成AJAX形式,用户点击后不会访问一个新的URL,仍是在原来URL上,URL后面加了#,不会被当成不同URL。和JS问题相同,搜索引擎正在活跃尝试匍匐、抓取AJAX里的内容,这个办法也不保险。

  目前比较好的办法之一是iframe+robots禁止。将过滤部分代码放进iframe,等于调用其它文件内容,对搜索引擎来说,这部分内容不属于当时页面,也即隐藏了内容。但不属于当时页面不等于不存在,搜索引擎是能够发现iframe中的内容和链接的,仍是可能匍匐这些URL,所以加robots禁止匍匐。iframe中的内容仍是会有一些权重丢失,但因为iframe里的链接不是从当时页面分流权重,而只是从调用的那个文件分流,所以权重丢失是比较少的。除了排版、浏览器兼容性之类的头疼问题,iframe办法的一个潜在问题是被认为做弊的风险。
  现在搜索引擎一般不认为iframe是做弊,很多广告就是放在iframe中,但隐藏一堆链接和隐藏广告有些微妙的区别。回到搜索引擎判断做弊的总原则上,很难说这不是专门为搜索引擎做的。记得Matt Cutts说过,Google以后可能改变处理iframe的方式,他们仍是期望在同一个页面上看到普通用户能看到的一切内容。

  对这个实际、严重的问题,我目前没有自己觉得完美的答案。当然,不能完美解决不是就不能活了,不同网站SEO重点不同,具体问题具体分析,采用上述办法中的一种或几种应该能够解决主要问题。

分享:

发表评论

电子邮件地址不会被公开。 必填项已用*标注

😉😐😡😈🙂😯🙁🙄😛😳😮:mrgreen:😆💡😀👿😥😎😕