« 恰当使用heading标题标签如何推广网站-网站推广实战经验 »
Nov4日

时间：2009-11-4 12:22:51

有效使用robots.txt

作者：ntsem 分类: 搜索引擎研究 浏览: 评论人数0人 【我来说两句】

有效使用robots.txt

一个robots.txt文件可以告诉搜索引擎你网站的哪些部分允许它去抓取。而这个文件不旦必须命名成”robots.txt”,还得放在你网站的根目录上。


我们网站robots.txt文件的路径。


所有的遵循这一规则的搜索引擎爬虫（按照通配符*指示的那样）不应该进入并抓取/images/或者任何以/search开头的url里的内容。

你也许并不希望你网站的一些页面被抓取到，因为如果它们出现在搜索结果里对用户可能是没多大意义的。如果你想阻止搜索引擎爬取你的网页，Google网站管理员工具有一个很好用的robots.txt生成器来帮助你创建这个文件。另外如果你希望子域名里的一些内容不被爬取，你需要在子域名的目录下再新建一个robots.txt文件。你也可以在我们的网站管理员帮助中心获得更多关于robots.txt的信息。

这里也有其它更便捷的方式来阻止你的内容出现在搜索结果里，比如说在 robotsmeta标签里添加”NOINDEX”，使用htaccess来为一些目录加密或者使用Google网站管理员工具来移除某些已经被索引的内容。 Google工程师MattCutts一个帮助视频里粗略地介绍了各种URL排除原理的注意事项。


    Google网站管理员中心发布的一份针对SEO的入门级指南手册。由个篱翻译成中文。在线阅读：这里。    16robots.txt实践经验

   1  为那些敏感的内容使用更加安全的方案——通过robots.txt来阻止一些敏感或者机密的内容。之所

   以这样做的是因为如果那些你在 robots.txt里阻止的链接出现互联网上（比如说来源记录），搜索引擎

   就很可能引用这些URLs（不过仅难是URL，不会含有标题或者内容片段）。还有一些不遵守机器人

   排除标准的流氓搜索引擎则会违背robots.txt上的指令。最后一些好奇的用户就会去查看你robots.txt

   是声明阻止的目录或者子目录，并猜测那些你不想被看到的内容。所以对内容加密或者通过 .htaccess

   实现密码保护会是更安全的选择。当然你需要避免：

    o  允许看起来像搜索结果一样的页面被爬取。（用户并不喜欢扔给自己一张搜索页面，全是一

    些没有多大意义的结果。）

    o  允许大量的自动生成的页面被抓取，而里面大多都是相同或者差异甚微的内容。“像这些

    100000张几乎像复制的页面被搜索引擎索引了有多大意义呢？”

    o  允许代理服务器创建的URLs被爬取。


为链接添加nofollow属性

为一个链接的”rel”属性值添加”nofollow”可以告诉Google你网站的某些链接不允许被跟踪或分享你的信誉。不跟踪一个链接的做法是在链接的锚标签里添加rel=”nofollow”.


当你链接一个网页时，如果你不信任它或者不想分享你的信誉时就可以试试nofollow了。

而nofollow在什么情况下是有用的呢？假如你有一个允许公共评论的博客， 在评论中的一些链接如果让你审核时感觉很不舒服的话，那么它们就很可能会分享你网站的名声了。博客的评论区域是最容易产生垃圾评论的地方。阻止这些垃圾留 言中的链接可以让你免受辛辛苦苦挣来的名声被这些垃圾网站瓜分。很多博客软件包都自动为评论添加了nofollow，但一那些没有集成这功能的网站可以手 动编辑它。当然这条建议也对你网站的其它允许用户提交内容区域适用，比如说留言本、论坛、吼吼箱、参考列表等等。如果你已经核实一些第三方添加的链接（比如说某个评论者是你可信任的），就没有添加nofollow的必要了；当然如果你指向了Google认为是垃圾站的链接很有可能影响你网站自己的名声。而网站管理员帮助中心有更多关于阻止垃圾评论的小贴士，像使用验证码和启用评论审核。


    Google网站管理员中心发布的一份针对SEO的入门级指南手册。由个篱翻译成中文。在线阅读：这里。    17


一个垃圾评论者在我们的一篇新闻贴里留下了一条信息，想汲取我们网站的名气。

nofollow的另一个用户就是你在你写一些内容但同时又要参考一个网站时，但你又不想分享你网站的名誉给它。举个例子，想像一下你正在写一篇关 于垃圾评论的博客帖子，你想抬出最近一个老在你博客上留下垃圾评论的网站。你想提醒一下他它，所以你会把这些链接写入你的内容里，然而你肯定不想因此把你网站的名声分享给它们，所以这时nofollow就派上用场了。

最后，如果你想把一张网页上的所有链接都加上nolollow属性的话，你可以在被放置在一张网页html的<head></head>里的robotsmeta标签中使用”nofollow”。网站管理员中心博客提供一篇关于使用robotsmeta标签的有用帖子。而这个原理的使用方法是这样书写的：<metaname=”robots”content=”nofollow”>.


这样就阻止了搜索引擎对一张网页上所有链接的跟踪。


    Google网站管理员中心发布的一份针对SEO的入门级指南手册。由个篱翻译成中文。在线阅读：这里。    18


以恰当的方式推广你的网站

当人们通过搜索引擎或者其它方式发现你的网站并链接它时，链向你网站的链接也会逐渐增加，Google会明白你很希望别人知道你网站上那些辛勤的劳 动成果。有效推广网站上的新内容可以更好地引导那些有相同兴趣的人去发现它们。当然你肯定发现了这个指南上所涉及的优化要点很多，但如果你使用过渡的话却很可能物极必返，消弱你网站的信誉。

原创文章请注明转载自南通网络营销专家-卓航信息，本文地址：http://www.ntsem.com/blog/post/9.html

【已有0位网友发表了看法,你呢？】

关于robots.txt  的相关文章:

    • 评论:(0)
    • 引用通告
    【已有0位网友发表了看法】点击这里获取该日志的TrackBack引用地址

    http://www.ntsem.com/blog/cmd.asp?act=tb&id=9&key=92bcc98c

    已有0位网友发表了一针见血的评论,你还等什么？
    【按Ctrl+Enter也能发送消息啦】 ◎欢迎参与讨论，请在这里发表您的看法、交流您的观点。