robots.txt文件可以有效的屏蔽搜索引擎抓取我们不需要被抓取的页面和网站源文件，其中的好处是限制搜索引擎过多的抓取不必要的内容，减少搜索引擎蜘蛛进行不必要的网站爬寻分散，也是为了让我们的网站不必要的内容不在搜索引擎被收录，不让别人搜索到。 其中什么样的文件会被限制抓取呢？ 一、是否通过robots.txt来屏蔽动态页面，减少页面的重复抓取？ 其实个人建议普通网站不必要进行动态页面的屏蔽，搜索引擎一般会自动判断是否重复，普通网站内容 robots.txt文档能够合理的屏蔽掉百度搜索引擎爬取人们不用被爬取的网页页面和平台网站原文件，在其中的益处是限定百度搜索引擎过多的爬取多余的內容，降低百度搜索引擎搜索引擎蜘蛛开展多余的平台网站爬寻分散化，都是以便我们一起的平台网站多余的內容没有百度搜索引擎被网站收录，不许他人检索到。在其中哪些的文档会被限定爬取呢？ 一、是不是根据robots.txt来屏蔽掉动态性网页页面，降低网页页面的反复爬取？ 实际上本人提议一般平台网站多余开展动态性网页页面的屏蔽掉，百度搜索引擎一般会全自动分辨是不是反复，一般平台网站內容并非十分多，一般出現反复网页页面的概率也较为低，假如是信息站和社区论坛站等提议屏蔽掉动态性网页页面。 二、robots.txt屏蔽掉独特网页页面，隐私保护內容的屏蔽掉。 robots.txt屏蔽掉独特网页页面，平台网站隐私保护內容的屏蔽掉，实际上针对一个网站而言，隐私保护內容较为难保持，在无程序流程适用的前提条件下，这儿说的隐私保护就是指一些不愿被广为流传到互联网技术的內容，屏蔽掉百度搜索引擎搜索引擎蜘蛛防止在互联网技术被泛滥成灾，如：网络培训班培训课件。 三、平台网站独特文件夹名称屏蔽掉 独特文件夹名称一般就是指，网站源代码安装文件，动态性作用网页页面，超过的文件夹名称，后台管理作用等。 robots.txt文档的益处刚刚也讲过，就是说出示百度搜索引擎搜索引擎蜘蛛看的，告知它什么文档你别看，不让你的，它是它的优势，可是robots.txt在告知百度搜索引擎搜索引擎蜘蛛的另外，也在告知别人，这一平台网站的隐私保护，例如：网站后台管理文件夹名称详细地址，坚信许多网站站长都是在robots.txt上边填好，如：Disallow:/dede/从这儿人们能够弄错应当是织梦cms程序流程，自然人们能够变更。 平台网站屏蔽掉的安装文件详细地址，如：Disallow:/install/这一般是程序流程安装文件的详细地址，即使人们后台管理详细地址变更后一样能解析出是啥程序流程做出去的。 屏蔽网站后台管理登陆详细地址，如：Disallow:/login.asp那样就显著告知用心你的后台管理登陆详细地址了。 屏蔽网站隐私保护內容，如：Disallow:/123.html也仅仅 对于百度搜索引擎，对人为因素人们還是有风险性。 上边说的几个点全是出自于安全系数的考虑到，那人们还写不写robots.txt呢？ 依据我本人的实际操作而言，robots.txt還是要些的，终究提升许多那时候不可或缺他，可是针对网站安全性人们还要采用一些必需的对策与方式，那人们只有在程序流程的安全系数上动手脚了，但是如何做这手和脚是程序猿充分发挥的那时候了，例如vip会员作用等。 次之，以便不告之别人人们的隐私保护，那麼人们能够在robots里用“*”来掩藏人们的文件夹名称。 从图中能够见，人们能够彻底不暴露的文件夹名称了，另外也可以对百度搜索引擎搜索引擎蜘蛛开展屏蔽掉！ |
