【一、项目背景】
博海拾贝是一支互联网从业者在线教育的团队,扎根于中国教育行业以及互联网行业的创新和眼球中,打造专业体系化的互联网人在线教育平台。精心创作许多精彩的文章,提供了很多有趣的图片。
今天来教大家如何使用Python来爬取博海拾贝的图片,分类保存,写入文档。
【二、项目目标】
创建一个文件夹, 分类保存所有文章图片。下载成功,结果显示控制台。
【三、项目分析】
1、如何找到真正访问的地址,多网页请求?
滑动鼠标,观察网站,右键F12 。鼠标滚轮滑动加载新内容。如图:
点开随机网页 , 点开Request URL ,观察网址的规律。
https://bh.sb/page/1/
https://bh.sb/page/2/
https://bh.sb/page/3/
https://bh.sb/page/4/
观察到,每增加一页page/{}/自增加1,用{}代替变换的变量,再用for循环遍历这网址,实现多个网址请求。
2. 反爬处理
1)获取正常的 http请求头,并在requests请求时,设置这些常规的http请求头。
2)使用 fake_useragent ,产生随机的UserAgent进行访问。