一、什么是Baiduspider? Baiduspider是百度搜索引擎的一个自动程序，它的作用是访问互联网上的网页，建立索引数据库，使用户能在百度搜索引擎中搜索到您网站上的网页。 二、Baiduspider的user-agent是什么? 百度各个产品使用不同的user-agent： 产品名称 对应user-agent 无线搜索 Baiduspider 图片搜索 Baiduspider-image 视频搜索 Baiduspider-v 一、什么叫Baiduspider? Baiduspider是搜索引擎的一个全自动程序流程，它的功效是浏览互联网技术上的网页页面，创建数据库索引数据库查询，使客户能在搜索引擎中检索到您平台网站上的网页页面。 二、Baiduspider的user-agent是啥? 百度搜索每个商品应用不一样的user-agent： 产品名字相匹配user-agent 无线搜索Baiduspider 图片搜索Baiduspider-image 搜索视频Baiduspider-video 新闻搜索Baiduspider-news 百度搜藏Baiduspider-favo 百度联盟Baiduspider-cpro 国际商务检索Baiduspider-ads 网页页面及其别的检索Baiduspider 三、Baiduspider对一个网络服务器导致的浏览工作压力怎样? 以便超过对总体目标資源不错的查找实际效果，Baiduspider必须对您的平台网站维持一定量的爬取。人们尽可能不给平台网站产生不科学的承担，并会依据网络服务器承受力，平台网站品质，网站发布等综合性要素来开展调节。假如您感觉baiduspider的浏览个人行为有一切不科学的状况，您能够 意见反馈至百度投诉服务平台。 四、为何Baiduspider不断的爬取一个网站? 针对您平台网站上架造成的或是不断升级的网页页面，Baiduspider会不断爬取。除此之外，您还可以查验网页访问系统日志中Baiduspider的浏览是不是一切正常，以避免许多人故意假冒Baiduspider来经常爬取您的平台网站。假如您发觉Baiduspider异常爬取您的平台网站，请根据举报服务平台意见反馈让我们，并请尽可能得出Baiduspider对贵站的浏览系统日志，便于于人们追踪解决。 五、怎么知道是不是假冒Baiduspider的爬取? 建议应用DNS反查方法来明确爬取来源于的ip是不是归属于百度搜索，依据服务平台不一样认证方式不一样，如linux/windows/os三种服务平台下的认证方式各自以下： 1，在linux服务平台下，您能够 应用hostip指令反解ip来分辨是不是来源于Baiduspider的爬取。Baiduspider的hostname以*.baidu.com或*.baidu.jp的文件格式取名，非*.baidu.com或*.baidu.jp即是假冒。 $host123.125.66.120 120.66.125.123.in-addr.arpadomainnamepointer baiduspider-123-125-66-120.crawl.baidu.com. host119.63.195.254 254.195.63.119.in-addr.arpadomainnamepointer BaiduMobaider-119-63-195-254.crawl.baidu.jp. 2，在windows服务平台或是IBMOS/2服务平台下，您能够 应用nslookupip指令反解ip来分辨是不是来源于Baiduspider的爬取。开启指令cpu键入nslookupxxx.xxx.xxx.xxx(网络ip)就能分析ip，来分辨是不是来源于Baiduspider的爬取，Baiduspider的hostname以*.baidu.com或*.baidu.jp的文件格式取名，非*.baidu.com或*.baidu.jp即是假冒。 3，在macos服务平台下，您能够 应用dig指令反解ip来分辨是不是来源于Baiduspider的爬取。开启指令cpu键入digxxx.xxx.xxx.xxx(网络ip)就能分析ip，来分辨是不是来源于Baiduspider的爬取，Baiduspider的hostname以*.baidu.com或*.baidu.jp的文件格式取名，非*.baidu.com或*.baidu.jp即是假冒。 六、我不愿意一个网站被Baiduspider浏览，我能做什么? Baiduspider遵循互联网技术robots协议书。您能够 运用robots.txt文档彻底严禁Baiduspider浏览您的平台网站，或是严禁Baiduspider浏览您平台网站上的一部分文档。留意：严禁Baiduspider浏览您的平台网站，将使您的平台网站上的网页页面，在搜索引擎及其全部百度搜索出示百度搜索引擎服务项目的百度搜索引擎中没法被检索到。有关robots.txt的写作技巧，请查阅人们的详细介绍：robots.txt写作技巧 您能够 依据各商品不一样的user-agent设定不一样的爬取标准，假如您想彻底严禁百度搜索全部的商品网站收录，能够 立即对Baiduspider设定严禁爬取。 下列robots保持严禁全部来源于百度搜索的爬取： User-agent:Baiduspider Disallow:/ 下列robots保持严禁全部来源于百度搜索的爬取但容许图片搜索爬取/image/文件目录： User-agent:Baiduspider Disallow:/ User-agent:Baiduspider-image Allow:/image/ 温馨提醒：Baiduspider-cpro爬取的网页页面并不容易建入数据库索引，仅仅实行与顾客承诺的实际操作，因此不遵循robots协议书，假如Baiduspider-cpro给您导致了困惑，请联络union1@baidu.com。 Baiduspider-ads爬取的网页页面并不容易建入数据库索引，仅仅实行与顾客承诺的实际操作，因此不遵循robots协议书，假如Baiduspider-ads给您导致了困惑，请联络您的客户服务专员。 七、为何一个网站早已加了robots.txt，还能在网页搜索出去? 由于百度搜索引擎数据库索引数据库查询的升级必须時间。尽管Baiduspider早已终止浏览您平台网站上的网页页面，但搜索引擎数据库查询中早已创建的网页页面数据库索引信息内容，将会必须几个月時间才会消除。此外也请查验您的robots配备是不是恰当。 假如您的回绝被网站收录要求十分迫切，还可以根据举报服务平台意见反馈恳求解决。 八、希望一个网站內容被百度搜索数据库索引但不被储存快照更新，我能做什么? Baiduspider遵循互联网技术metarobots协议书。您能够 运用网页页面meta的设定，使百度搜索显示信息只对该网页页面建数据库索引，但并不是在百度搜索中显示信息该网页页面的快照更新。 和robots的升级一样，由于百度搜索引擎数据库索引数据库查询的升级必须時间，因此尽管您早已在网页页面中根据meta严禁了百度搜索在百度搜索中显示信息该网页页面的快照更新，但搜索引擎数据库查询中假如早已创建了网页页面数据库索引信息内容，将会必须二至四周才会免费在线上起效。 九、Baiduspider爬取导致的网络带宽阻塞? Baiduspider的一切正常爬取并不容易导致您平台网站的网络带宽阻塞，导致此状况将会是因为许多人假冒Baiduspider故意爬取。假如您发觉有名叫Baiduspider的agent爬取而且导致网络带宽阻塞，请尽早和人们联络。您能够 将反馈机制至举报服务平台，假如可以出示您平台网站该时间段的浏览系统日志将更为有益于人们的解析。 |
