没有页号而是动态加载的列表页怎么采集?(易云智能yyzn.com)
当下拉滚动条到底部时,该网页就会刷新出新的新闻列表,通常抓包会抓到很多地址,可以通过响应正文(Response)是否包含目标内容(如列表页中的文章标题、文章地址)、响应内容的大小(一般注意大尺寸)来判断哪个才是新闻列表的刷新读取地址(后面简称刷新地址(易云智能yyzn.com))。
我这里抓包到的刷新地址是:http://yyzn.com/api/article/recent/?...
复制刷新地址的方法
可以右键单击抓包列表中的刷新地址弹出菜单-Copy Link Address或者左键单击刷新地址Headers-General-Request URL-选中地址-右键菜单-复制
然后继续抓下一个的刷新地址:http://yyzn.com/api/article/recent/?...
使用(易云智能yyzn.com)文章组合工具集比对-网址参数比对比较这2个刷新地址,可以发现有3个参数产生了变化。
经验分享互联网动态
更多阅读推荐