我盯上了一个网站，网页它每天更新一批行业报告，内容每份都几百页PDF，网页免费下载但没做批量入口。内容手动点几百次，网页手指会先废掉。内容所以我写了个爬虫，网页让它替我干这活。内容

爬虫的网页第一步其实不是写代码，是内容观察。打开浏览器开发者工具，网页看网络请求，内容看页面结构，网页看数据藏在哪儿。内容那个网站的网页报告列表是动态加载的，滚动到底部才触发新请求，返回的是JSON数据。这意味着我根本不用解析HTML，直接请求那个JSON接口就行——这种发现让人兴奋，像找到了后门。

但真正的麻烦在反爬机制。第一次请求就被拦了，返回403。服务器检查User-Agent，默认的Python-requests标识太显眼。我改成浏览器的User-Agent，加上Referer和Accept-Language头，伪装成Chrome。再试，通过了。可爬了五十页后，IP被封了——服务器统计了请求频率，每分钟超过30次就拉黑。

解决办法很土：加延时。每次请求后sleep两秒，把速度降下来。这会让整体耗时变长，但稳定压倒一切。我又加了重试机制，遇到429或503状态码就等五秒再试一次。爬虫的本质不是技术炫技，是跟服务器玩猫鼠游戏时的耐心。

数据拿到后，解析倒是简单。JSON里直接有标题、日期、下载链接。我只需要遍历列表，拼出PDF的完整URL，然后下载。但文件名是乱的，全是数字ID。我建立了一个映射表，把ID和标题对应起来，下载后统一重命名。这步差点忘了做，差点让几百份报告变成一堆编号垃圾。

整个脚本跑完花了四十分钟。检查结果，成功率98%，有十几个文件因为网络波动下载失败。我写了个日志，记录每个失败的URL和原因，然后单独跑一遍重试逻辑。补爬完成后，文件夹里整整齐齐躺着三百份报告，命名规范，一个不缺。

爬虫写多了会形成一种直觉：凡是网页上能看到的，理论上都能抓下来。真正的边界不在技术，而在规则。有的网站明确写了禁止爬虫，robots.txt里声明了Disallow，那就别碰。有的网站数据涉及个人隐私，就算能爬也不该爬。技术能力越强，越要清楚什么该做什么不该做。

那次爬完报告后，我养成了个习惯：每次写爬虫前先看robots.txt，再想清楚数据用途。不是为了合规而合规，而是不想给自己惹麻烦。毕竟IP封了可以换，账号封了可以注册，要是被起诉，那就不划算了。

那个网站的批量下载需求，后来我用一个不到一百行的脚本解决了。工具本身不值钱，值钱的是你判断哪些数据值得爬、怎么爬得优雅、爬完怎么用。这行当干久了，你会发现最难的从来不是代码，是做决定。