火车头内容页是post请求怎么办?火车头post方式获取内容页! -世界杯365买球
火车头官方的帮助手册关于内容页post请求的内容讲的不多,帮助手册上主要讲的是:列表页是post请求时,如何获取到内容页的网址!这种情况是最常见的,反爬只要限制了列表页,就很难实现大批量爬数据。
我们在采集的时候,会发现内容页也是post请求,这种情况下,还是用插件来解决,官方给出的答案,也经常是这样:“用插件解决”,前几天遇到一个站点,内容页是post请求,官方报价600,一听这个价格,还是算了,自己研究了下~后面自己写了一个python内容页post请求插件。
fromdata={ "enews": "###", "classid": labelarray['classid'], "id": labelarray['mid'] } headers={ 'user-agent': 'mozilla/5.0 (windows nt 10.0; win64; x64) applewebkit/537.36 (khtml, like gecko) chrome/92.0.4515.107 safari/537.36', 'cookie': '###', 'referer': '###' } posturl="https://###" data=urllib.parse.urlencode(fromdata).encode("utf-8") req=urllib.request.request(posturl,headers=headers,data=data) response=urllib.request.urlopen(req).read().decode('utf-8') pat=r'payurl":"(.*?)"}' result=re.findall(pat,response) result1=''.join(result).replace("\/","/") labelarray['内容']=result1以上是火车头python插件demo中,用户编辑区的主要代码,###删除了一些重要信息,通过插件,可以快速解决内容页post的问题。
python课程看完一些基础的课程,就可以快速解决内容页post请求的问题,不懂的朋友,可以先去学习一下python,就可以看懂上面的代码了。
因我爬取的是音频文件,具体过程和内容详情不给展示了,给张爬取后的截图吧
点击可看大图
世界杯365买球的版权声明:如无特殊标注,文章均为本站原创,转载时请以链接形式注明文章出处。