Python批量抓取站酷ZCOOL作品图片并归档

5,338次阅读
15条评论

共计 1830 个字符,预计需要花费 5 分钟才能阅读完成。

前言

前几天,由于个人有需求,所以就要对站酷网一些类别下的作品的图片进行批量抓取,首先是采用的是 NodeJs 来写的,但是在运行的途中遇到很多的问题,所以后来就换成了 Python,同时使用了多线程,使得图片下载时达到了宽带的峰值,同样也保证了其质量(首先声明:此代码仅供于学习交流使用,不能用于其他的任何用途)。

正文

我本次采用的是 requestBeautifulSoup组合来进行抓取的,首先我们需要分析站酷的 DOM 结构:
Python 批量抓取站酷 ZCOOL 作品图片并归档
由上我们可以看出,其主要内容包含在 class 为 work-list-box 的这个 div 内,并且每个作品又是单独包含在 class 为 card-box 这个 div 内的,所以我们需要获取到页面所有的作品元素集合,我封装成了一个函数:

def startRequest(url):
    print("【提示】正在抓取 - %s" % url)
    res = requests.get(url)
    if res.status_code == 200:
        res_html = res.content.decode()
        doc = BeautifulSoup(res_html)
        work_box = doc.find('div', class_={'work-list-box'})
        card_box_list = work_box.find_all('div', class_={'card-box'}) # 此处为所有的作品元素集合
    else:
        print("【文档获取失败】【状态为 %s】- %s," % (url, res.status_code))

接下来分析每个模块元素的结构,通过查看 DOM 元素得知每个 card-box 下的 class 为 title-content 的这个 a 标签包含了其作品的链接地址以及作品标题,所以我们就可以由此来获取:

title_content = item.find("a", class_={'title-content'})
avatar = item.find('span', class_={'user-avatar'})

但是在作品集合元素内,嵌套着推广或广告,但是推广和广告是没有头像 avatar 元素的,所以我们只需要这样检测头像是否为空就可以过滤掉广告元素,其后获取到作者,URL 链接以及标题:

def getContent(item):
    title_content = item.find("a", class_={'title-content'})
    avatar = item.find('span', class_={'user-avatar'})
    if title_content is not None and avatar is not None:
        title = title_content.text
        author = avatar.find("a")["title"]
        href = title_content['href']
    else:
        return

接下来,我们需要访问对应的 URL,并获取到其中的 URL 地址:
Python 批量抓取站酷 ZCOOL 作品图片并归档

通过查看 DOM 元素结构可以看出,其文章主要内容区域在 class 为 work-show-box 的 div 下,然后每个图片 / 视频 / 文字区域都是放在 class 为 reveal-work-wrap 的 div 内,所以获取到所有的内容区域集合,然后查看是否有 img 标签,如果有的话就说明存在图片元素,则是我们需要的内容,并且获取到其 src 存放至 url 的集合中去:

def getDocImgLinks(html):
    doc = BeautifulSoup(html)
    work_box = doc.find("div", class_={'work-show-box'})
    revs = work_box.find_all("div", class_={'reveal-work-wrap'})
    img_list = []
    for item in revs:
        img = item.find("img")
        if img is not None:
            img_url = img["src"]
            img_list.append(img_url)
        else:
            print("【提示】:没有图片")
            continue
    return img_list

最后,我们需要将获取的 URL 图片进行存储,存储的文件夹就以【作者名】-【作品标题】为标准,然后图片就以 UUID 来随机命名,同时我们需要对一些特殊字符进行过滤转换,以防创建文件夹或文件失败:

def nameEncode(file_name):
    file_stop_str = ['\\', '/', '*', '?', ':', '"','<','>','|']
    for item2 in file_stop_str:
        file_name = file_name.replace(item2, '-')
    return file_name
所以,最后的完整源码如下:
import sys
from bs4 import BeautifulSoup
import requests
import os
import uuid
import threading

def startRequest(url):
    print("【提示】正在抓取 - %s" % url)
    res = requests.get(url)
    if res.status_code == 200:
        res_html = res.content.decode()
        doc = BeautifulSoup(res_html)
        work_box = doc.find('div', class_={'work-list-box'})
        card_box_list = work_box.find_all('div', class_={'card-box'})
        for item in card_box_list:
            getContent(item)
    else:
        print("【文档获取失败】【状态为 %s】- %s," % (url, res.status_code))

def getContent(item):
    title_content = item.find("a", class_={'title-content'})
    avatar = item.find('span', class_={'user-avatar'})
    if title_content is not None and avatar is not None:
        title = title_content.text
        author = avatar.find("a")["title"]
        href = title_content['href']
        # print("%s -【%s】- %s" % (title, author, href))
        res = requests.get(href)
        if res.status_code == 200:
            # 获取所有的图片链接
            img_list = getDocImgLinks(res.content.decode())
            path_str = "【%s】-【%s】" % (author, title)
            path_str_mk = pathBase('./data/'+nameEncode(path_str))
            if path_str_mk is None:
                return
            else:
                for img_item in img_list:
                    downloadImg(img_item, path_str_mk)

        else:
            print("【文档获取失败】【状态为 %s】- %s," % (href, res.status_code))
    else:
        return

def getDocImgLinks(html):
    doc = BeautifulSoup(html)
    work_box = doc.find("div", class_={'work-show-box'})
    revs = work_box.find_all("div", class_={'reveal-work-wrap'})
    img_list = []
    for item in revs:
        img = item.find("img")
        if img is not None:
            img_url = img["src"]
            img_list.append(img_url)
        else:
            print("【提示】:没有图片")
            continue
    return img_list

def pathBase(file_path):
    file_name_s = file_path.split("/")
    file_name = file_name_s[len(file_name_s) - 1]
    file_name_s[len(file_name_s) - 1] = file_name
    path = "/".join(file_name_s)
    if not os.path.exists(path):
        os.mkdir(path)
    return path

def nameEncode(file_name):
    file_stop_str = ['\\', '/', '*', '?', ':', '"','<','>','|']
    for item2 in file_stop_str:
        file_name = file_name.replace(item2, '-')
    return file_name

def downloadImg(url, path):
    z_url = url.split("@")[0]
    hz = url.split(".")
    z_hz = hz[len(hz) - 1]
    res = requests.get(z_url)
    if res.status_code == 200:
        img_down_path = path + "/" + str(uuid.uuid1()) + "." + z_hz
        f = open(img_down_path, 'wb')
        f.write(res.content)
        f.close()
        print("【下载成功】-  %s" % img_down_path)
    else:
        print("【IMG 下载失败】【状态为 %s】- %s," % (z_url, res.status_code))

if __name__ == '__main__':
    threads = []

    for i in range(1, 22):
        url = 'http://www.zcool.com.cn/search/content?type=3&field=8&other=0&sort=5&word=APP%E8%AE%BE%E8%AE%A1' \
              '&recommend=0&requestId=requestId_1513228221822&p='+(str(i))+'#tab_anchor'
        threads.append(threading.Thread(target=startRequest, args={url}))

    for item in threads:
        item.start()

Github:https://github.com/Licoy/python-es/blob/master/old/zcool.py

后记

Python 批量抓取站酷 ZCOOL 作品图片并归档 如果上述代码中有任何不清楚的地方,您可以在下方进行留言,我会及时回答您的疑惑。

正文完
使用官方微信小程序体验更多功能
post-qrcode
 6
憧憬Licoy
版权声明:本站原创文章,由 憧憬Licoy 2017-12-18发表,共计1830字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
评论(15条评论)
nike 评论达人 LV.1
2022-06-22 09:47:20 回复

站酷工作人员到此一游

 Macintosh  Chrome  中国北京北京市电信
vsonli 评论达人 LV.1
2019-06-26 19:06:09 回复

AttributeError: ‘NoneType’ object has no attribute ‘find_all’
我报了个这样的错误是为什么呢?

 Windows  Chrome  中国广东省广州市电信
    憧憬Licoy 博主
    2019-07-08 16:06:50 回复

    @vsonli 可能是现在站酷网的DOM结构发生了变化,导致抓取的元素None,所以也就不存在find_all这个function

     Macintosh  Chrome
厘米晴空 评论达人 LV.1
2018-09-06 14:40:40 回复

会一丢丢py但是总没有思路写,参考你的爬取思路自己也试着写了下,期待大佬更新更多python代码 :grin:

 Windows  Chrome  中国陕西省西安市电信
Shmily 评论达人 LV.1
2018-03-21 12:32:09 回复

感觉不错,很喜欢

 Windows  Chrome  中国湖北省电信
民在国 评论达人 LV.1
2018-01-25 17:15:26 回复

我也试一下。

 Windows  Firefox  中国广东省中山市电信
哦引力 评论达人 LV.1
2018-01-22 16:30:30 回复

站酷里面的素材都不能下载及另存

 Windows  Chrome  中国湖北省武汉市电信
    憧憬Licoy 博主
    2018-01-25 09:36:48 回复

    @哦引力 部分有版权不能提供下载,但是只要你想弄就还是有办法的,只要思想不滑坡,办法总比困难多。

     Windows  Chrome
菊部 评论达人 LV.1
2018-01-17 09:42:32 回复

强大的Python

 Macintosh  Chrome  中国湖北省武汉市电信
godaddy域名优惠码 评论达人 LV.1
2018-01-15 10:23:10 回复

朋友 交换链接吗

 Windows  Chrome  中国江苏省苏州市电信