使用Selenium+PhantomJS抓取腾讯动漫漫画图链接
Python

使用Selenium+PhantomJS抓取腾讯动漫漫画图链接

前言 上周一位朋友在进行一些项目开发时,其中需要用到腾讯动漫中动漫的图片,但是自己手动一张一张另存为图片进行保存太浪费时间了,于是就用Python来进行抓取,但是很无奈腾讯动漫的章节动漫DOM元素是异步加载的,另外图片也使用了懒加载,使用一般的抓取方式肯定是行不通,于是我们就进行分析了一波...
阅读全文
Python使用Requests下载资源获取实时下载进度
Python

Python使用Requests下载资源获取实时下载进度

前言 这段时间一直都是比较忙,包括工作上的事情和生活上的事情,已经有一个月没有更新文章了;前段时间收集了很多的Kindle书籍,写爬虫的时候为了方便观察进度,要在控制台打印图书的资源的实时下载进度,今天就来说说如何实现这个小功能。 正文 首先,当我们请求Requests请求一个资源路径的时...
阅读全文
Centos安装Python2.7与Python3.5双版本
Python

Centos安装Python2.7与Python3.5双版本

前言 最近博主一直忙于工作之中,无法自拔(别问我为什么,因为穷 :evil: );最近有个小项目用到了Python,但是无奈服务端的有个Python2.7,但是也不能更新他,因为有程序在用,无奈只能弄双版本的Python,下面就来说说具体的步骤。 正文 首先,先下载Python的源码包:h...
阅读全文
使用PIL中Image.rotate()之后将回转后的非图像区域变成白色
Python

使用PIL中Image.rotate()之后将回转后的非图像区域变成白色

前言 最近有项目需要用到图像识别,然后就基于Python开发,同时使用了Opencv/PIL/numpy等图像算法以及识别库,但是在识别的图像中,可能由于人为的原因,摄像的尺度不是那么准确,但对于标记点来说整个图像识别的计算就可能要偏斜,后来就想到了可以通过图像回转将图片回正,然后再进行识...
阅读全文
Python批量抓取站酷ZCOOL作品图片并归档
Python

Python批量抓取站酷ZCOOL作品图片并归档

前言 前几天,由于个人有需求,所以就要对站酷网一些类别下的作品的图片进行批量抓取,首先是采用的是NodeJs来写的,但是在运行的途中遇到很多的问题,所以后来就换成了Python,同时使用了多线程,使得图片下载时达到了宽带的峰值,同样也保证了其质量。 正文 我本次采用的是request和Be...
阅读全文