火车头采集今日头条文章评论经验总结,看经验的来! -世界杯365买球
今天接了一个采集评论的单子,要采集今日头条文章评论的内容,抓包看了下,可以采集,下面把经验总结一下:
1、单条文章评论,可以采集到全部评论;
2、批量采集文章的评论,只能采集到部分评论,因客户想采集所有评论,所以,只能采用单条采集了。
3、可以采集到的参数:用户id、用户昵称、评论内容、评论页网址
4、采集还是通过app采集,抓包数据也是抓包的app
测试采集数据截图如下:
采集的难点还是抓包方面,如果懂得一些火车头的使用,那么只要解决了抓包的问题,把数据分析下,就能够很快上手了。
--------20200424更新--------
看到很多朋友浏览该篇文章,头条的评论采集,主要是抓包的问题,解决了抓包的问题就可以解决采集的问题了,还有这里淘小白不建议大家采集pc端的头条数据,会出现滑块验证码。
抓包pc可以用浏览器f12,也可以用fiddler,我常用的是fiddler,还有其他的抓包软件,可以自己了解,其次,抓包app我常用fiddler抓,可以抓自己的手机,也可以用模拟器,用fiddler抓包。
fiddler的设置是重点,设置不好,可能导致抓包失败,这里再多和大家说一句,win7/8用fiddler2,win10可以用fiddler4.0以上版本
作者qq1290654348 有问题联系我
世界杯365买球的版权声明:如无特殊标注,文章均为本站原创,转载时请以链接形式注明文章出处。