wallhaven爬虫

2022-12-05

py爬取壁纸（setu）

wallhaven网站爬取

刚开始爬的时候一切顺利，但最后遇到了反爬虫机制，就是必须要登录，否则无法显示一些色图。

首先想到的就是 py 模拟登录，这里说两种解法：

在 post 请求中把账号，密码输入，一般都不会成功，因为会有 JS 加密。这里可以解密，但具体我也不了解就不往下说了。
可行且简单的方法，用 Cookie 绕过去。
先说一下 Cookie 的概念：在客户端对服务器发送请求，服务器会产生客户端的记录，来得知客户端之前做过什么。就比如你登录了 Bilibili，关了之后再进入就免登录了，这之间就是 Cookie 的功劳，让服务器记得你。
回归正题，模拟登录就是首先你要登录这个网站，再记录 Cookie，爬取的 headers 填上 Cookie，然后就进入登录后的界面了，就可以下载图片了。

import requests
import parsel
import os

for shuzi in range(1,75):
    print(f"正在下载第{shuzi}页")
    url = 'https://wallhaven.cc/hot?page='
    
    # 头请求就不展示了
    # ！！！这个网站的反爬虫机制就是登录，用cookie绕过登录---->
    headers = {
        'user-agent': 'your-user-agent-string',
        'cookie' : 'your-cookie-string' 
    }

    # 此处的 cook 变量未定义，在实际运行时需要替换为您的 cookie 字典
    req = requests.get(url+str(shuzi),headers=headers) 

    print(url+str(shuzi))
    sele = parsel.Selector(req.text)
    lis = sele.css('.preview')

    for li in lis:

        pic_url = li.css('.preview ::attr(href)').get()

        print(pic_url)
        pos = requests.get(pic_url,headers=headers,verify=False)
        pic_sele = parsel.Selector(pos.text)
        pic_lis = pic_sele.xpath('//div[@class="scrollbox"]//img/@src').getall()
        print(pic_lis)
        for pic_urll in pic_lis:
            pic = requests.get(pic_urll,headers=headers,verify=False).content
            pic_name = pic_urll.split('/')[-1]
            if not os.path.exists(f'..//{pic_name}'):
                with open(f'..//{pic_name}','wb') as f:
                    f.write(pic)
                print('  完成图片'+pic_name)
            else:
                print(' 已存在'+pic_name)