很多站长可能都发现了，有的时候，你网站的内容在一个搜索引擎中被索引，即使你从来没有向这个搜索引擎提交过你的网站。这就归功于搜索引擎Robot（又叫Spider），这个永远不知道疲倦的WebCrawler,不放过任何串门的机会。但是什么事都有利有弊，为了保护你不愿公布于世的内容，我们可以做一些设置，既不至于让Robot在你网站上横行霸道，又能引导Robot更好的为你的网站服务。为你的网站生成一个Robot.txt文件是不错的办法。 许多网站站长将会都发觉了，有的那时候，百度收录批量查询你网址的內容在一个百度搜索引擎中被数据库索引，即便你几乎沒有向这一搜索引擎提交过你的网址。这就得益于百度搜索引擎Robot(又叫Spider)，这一始终不清楚疲惫的WebCrawler,绝不放过一切串亲戚的机遇。可是啥事都有好有坏，以便维护你不想公布于世的內容，大家能够做一些设定，既不致让Robot在你网址上横行无忌，又能正确引导Robot更强的给你的网站测试。给你的网址转化成一个Robot.txt文档是非常好的方法。 Robot.txt是一个纯文本文档，放到网址网站根目录下，在其中特定什么內容检索，什么內容不检索，当百度搜索引擎来你网址时，会先查验Robot.txt，假如这一文档存有，则会依据文档中特定的范畴来抓取网址。好似为热闹的街道社区设了道路标志，让Robot沿着标识尽情行驶。 Robot.txt文件格式设置方法给出： User-agent：* Disallow： Robot.txt文档中最少有一条User-agent，此项的值设成*，则容许一切百度搜索引擎浏览。 Disallow用于阻拦一个URL被浏览，例如涉及到网址隐私保护或网站站长本人不愿让百度搜索引擎浏览的网页页面，絕對URL和相对性URL均可，全部被Disallow的URL都不容易被Spider浏览到。 那麼Robot.txt与seo是啥关联呢?实际上二者并沒有充分必要条件，百度收录批量查询将其放到一起探讨是以便表明Robot.txt在网址SEO全过程中的不可忽视性。因此在建立网站SEO的另外，运用Robot.txt恰当地解决繁杂的难题，可以说是一举两得啊。 Robot.txt实际设置方法请参照官方网站：http://www.robotstxt.org/ |
