火车头内容页是post请求怎么办?火车头post方式获取内容页! -世界杯365买球

seo工具 08-11 20:37:00

火车头官方的帮助手册关于内容页post请求的内容讲的不多,帮助手册上主要讲的是:列表页是post请求时,如何获取到内容页的网址!这种情况是最常见的,反爬只要限制了列表页,就很难实现大批量爬数据。


我们在采集的时候,会发现内容页也是post请求,这种情况下,还是用插件来解决,官方给出的答案,也经常是这样:“用插件解决”,前几天遇到一个站点,内容页是post请求,官方报价600,一听这个价格,还是算了,自己研究了下~后面自己写了一个python内容页post请求插件。


fromdata={
            "enews": "###",
            "classid": labelarray['classid'],
            "id": labelarray['mid']
            }
            headers={
                    'user-agent': 'mozilla/5.0 (windows nt 10.0; win64; x64) applewebkit/537.36 (khtml, like gecko) chrome/92.0.4515.107 safari/537.36',
                    'cookie': '###',
                    'referer': '###'
                    }
            posturl="https://###"
        
            data=urllib.parse.urlencode(fromdata).encode("utf-8")
            req=urllib.request.request(posturl,headers=headers,data=data)
            response=urllib.request.urlopen(req).read().decode('utf-8')
            pat=r'payurl":"(.*?)"}'
            result=re.findall(pat,response)
            result1=''.join(result).replace("\/","/")
            labelarray['内容']=result1
以上是火车头python插件demo中,用户编辑区的主要代码,###删除了一些重要信息,通过插件,可以快速解决内容页post的问题。


python课程看完一些基础的课程,就可以快速解决内容页post请求的问题,不懂的朋友,可以先去学习一下python,就可以看懂上面的代码了。


因我爬取的是音频文件,具体过程和内容详情不给展示了,给张爬取后的截图吧

点击可看大图