爬虫技术抓取网站图片

我盯上一个卖手作陶瓷的爬虫独立站点快两周了。不是技术要偷图，纯粹想看看他们每周更新的网站柴烧杯到底长啥样。可那个站子邪门，图片右键菜单被禁，爬虫图片还套着懒加载——你往下滚，技术它才慢悠悠吐出来。网站手动一张张截图？图片太蠢了。于是爬虫我写了段Python，用requests拿HTML，技术再用正则硬抠出所有jpg链接。网站代码跑完，图片五十多张图躺在文件夹里，爬虫一张不少。技术那一刻我意识到，网站爬虫不是黑客炫技，它就是个体力活，把浏览器里那些“看不见”的请求，变成你能看见的文件。

抓图片的核心，其实就三步：找地址、发请求、存文件。但细节全藏在第一步里。很多图片地址不是直接写在img标签里的，它们躲在data-src属性后面，等JavaScript触发加载才替换上去。你要是只抓静态HTML，到手的就是一堆占位符。这时候得换个思路——用Selenium模拟浏览器滚动，或者干脆抓接口。我上次抓一个摄影博客，发现它的图片走的是CDN，URL里带个签名参数，过期就404。最后我直接解析它的JSON数据接口，反而比解析网页省事多了。你看，所谓“技术难点”，往往不是代码写不出来，而是你根本没找对数据源。

等真开始下载，又冒出新问题。有些服务器会检查User-Agent，你拿默认的Python库去请求，人家直接给你返回403。解决办法特简单，把头信息伪装成Chrome就行。还有防盗链——Referer字段不带上原网站域名，图片服务器就认为你是盗链，吐一张裂开的图标给你。这些小坑，踩一次就记住了。我习惯在请求头里塞上完整的浏览器标识，再把超时设成10秒，重试三次。粗鲁的请求容易把对方服务器搞崩，也容易把自己的IP送进黑名单。所以下载间隔我故意设成0.5秒，慢是慢点，但稳。

文件存下来只是第一步，命名才是让人头疼的事。直接拿URL里的文件名？有些是乱码，有些干脆没扩展名。我一般用哈希值做文件名，再根据Content-Type补上后缀。存的时候按日期建子文件夹，比如2025-04-16，这样以后找图不用翻半天。还有重复下载的问题——同一张图在不同页面出现好几次，你下载两次就浪费带宽。我加了个简单的去重逻辑：先算文件大小，如果相同就比对MD5。

说实话，爬虫抓图这活儿，干多了容易让人产生一种错觉——好像互联网上所有东西都能打包带走。但有个事儿我越来越在意：版权。有一次我爬了一个独立摄影师的相册，下载完才发现页面底部写着一行小字：“© 保留所有权利，禁止任何形式转载。”我盯着那行字看了半天，最后默默把下载的文件夹删了，重新写了个脚本，只抓那些明确标注CC0协议的图库。技术能让你拿到东西，但拿得心安理得，才是另一门功课。现在我做爬虫，第一件事是看robots.txt，第二件事是看页面底部有没有版权声明。不是道德绑架，是怕麻烦——真被人找上门，一封律师函比写十段爬虫代码都累。

后来那个陶瓷站更新了接口，加了更复杂的加密参数。我没再追着破解，反而觉得松了口气。爬虫这技术，像一把瑞士军刀——能用它开罐头，也能用它拆螺丝，但你不能指望它解决所有问题。真正好用的抓图工具，往往是最简单的那种：找到规律，写个循环，然后等着硬盘慢慢变满。你会发现，那些看似高深的技术，拆开来看，全是些最朴素的逻辑。