日记最重要是记录网站在运营进程中存在的各类题目，通过网站日记可以清晰地得知用户在什么IP、什么时刻、用什么操纵体系、什么赏识器、什么判别率表现器的环境下会见了你网站的哪个页面，是否会见乐成。 日志最重如果记载网站在运营历程中存在的各类标题，经由过程网站日志能够清楚地得悉用户在甚么IP、甚么时辰、用甚么控制系统、甚么赏识器、甚么判断率体现器的环境下会见了你网站的哪一个页面，是不是会面乐成。 (1)会面次数、勾留时辰、抓取量 从这些项数据中能够得悉:匀称每欢抓取页面数、单页抓取勾留时辰偏僻均每次勾留时辰。匀称每次抓取页面数=总抓取量/会面次数，单页面抓取勾留时辰=每次勾留/每次抓取，匀称每次勾留时辰=总勾留时辰会面次数。 (2)目录抓取统计 经由过程日志解释咱们能够看到网站哪些目录受蜘蛛喜欢、抓取目录深度、首要页面目录抓取状态、有效页面目录抓取状态等。 (3)页面抓取 在网站日志解释中，咱们能够看到细致被蜘蛛爬取的页面。在这些页面中，咱们能够解释出蜘蛛爬取了哪些必要被压迫爬取的页面、爬取了哪些无收录价值页面、爬取了哪些频频页面URL等。为空虚操纵蜘蛛资本，咱们必要将这些地点在Robots.txt中压迫爬取。 |
