可能是你的header写的太简单了，我刚刚也是一直404，因为一开始我的header里只有User-Agent，再加上Accept,Accept-Encoding,Content-Type,Host,Origin,Proxy-Connection,Referer,Upgrade-Insecure-Requests就行了，这些都可以从chrome的开发者工具里直接看，或者用fiddler等工具看。
解决办法：
当爬虫爬取国外网站的时候，常常会出现HTTPErro 404的情况，而用浏览器却可以正常浏览网页，这时候只需要把爬虫伪装成浏览器即可，也就是加上User-Agent就可以了，具体如何获取User-Agent，可以用浏览器随便打开一个网页，然后右键选择‘审查元素’，在Network里面找到即可！
内容全部来源于网络收集，如有侵权，请联系网站删除！