企业网站建设过程，大家都知道百度roots.txt 文件是用来写给搜索引擎蜘蛛看的，是告诉蜘蛛空间里面的那些文件可以被抓取，哪些不要抓取。这是一个不成文的规矩。一般搜索引擎爬虫访问网站的时候首先访问的是roots.txt 文件。有些人不知道是有意还是无意中在roots.txt 文件中写了规则，禁止了爬虫的抓取。这对网站优化造成什么样的后果呢

       搜索引擎排名是先爬虫先爬然后抓取分析，然后放置数据库，再根据页面的权重和质量进行排名，最后展现排名。从这个过程来看，我们不难看出企业网站建设过程的roots.txt文件的重要性了，要知道一个网站的内容都不能被蜘蛛抓取那又何谈收录排名呢！那么我们又来分析下：如果一个网站域名原来的空间禁止爬行了，在一段时间里面百度也不收录了数据。过了一段时间后域名换了空间地址，没有禁止爬虫行为。这样原来的禁止行为会对后来换了空间的域名起作用吗？答案我想应该不起作用。因为空间已经换了。roots.txt在原来的空间里面，但是不排除原来的禁止行为在搜索引擎中留下不好的印象。也就是说会不会对域名造成降权行为，这个不得而知。