火车头采集今日头条文章评论经验总结,看经验的来! -世界杯365买球

seo工具 07-12 16:55:00

今天接了一个采集评论的单子,要采集今日头条文章评论的内容,抓包看了下,可以采集,下面把经验总结一下:


1、单条文章评论,可以采集到全部评论;


2、批量采集文章的评论,只能采集到部分评论,因客户想采集所有评论,所以,只能采用单条采集了。


3、可以采集到的参数:用户id、用户昵称、评论内容、评论页网址


4、采集还是通过app采集,抓包数据也是抓包的app


测试采集数据截图如下:

qq图片20190712170216.png

采集的难点还是抓包方面,如果懂得一些火车头的使用,那么只要解决了抓包的问题,把数据分析下,就能够很快上手了。


--------20200424更新--------

看到很多朋友浏览该篇文章,头条的评论采集,主要是抓包的问题,解决了抓包的问题就可以解决采集的问题了,还有这里淘小白不建议大家采集pc端的头条数据,会出现滑块验证码。


抓包pc可以用浏览器f12,也可以用fiddler,我常用的是fiddler,还有其他的抓包软件,可以自己了解,其次,抓包app我常用fiddler抓,可以抓自己的手机,也可以用模拟器,用fiddler抓包。


fiddler的设置是重点,设置不好,可能导致抓包失败,这里再多和大家说一句,win7/8用fiddler2,win10可以用fiddler4.0以上版本


作者qq1290654348 有问题联系我