批量测试网址

我电脑里躺着两百多个网址，批量散落在收藏夹、测试备忘录、网址聊天记录和旧邮件里。批量每隔半年，测试我就得手动打开它们，网址看看哪些还活着，批量哪些已经变成404的测试幽灵。这活儿比拔牙还烦，网址直到我写了个批量测试的批量小脚本。

原理不复杂，测试就是网址拿Python的requests库挨个发请求，看返回码。批量200是测试活蹦乱跳的，301是网址搬家了，404是死透了。但真跑起来，问题就来了——有些网站防爬虫，你一发请求它直接给你403，可人家在浏览器里明明开得好好的。还有些是证书过期了，requests默认会拦着，得加个verify=False才肯放行。

最坑的是那些慢得像蜗牛的站点。默认超时设了5秒，结果一堆正常网站因为响应慢被误判成死了。后来我学乖了，把超时拉到15秒，又加了个重试机制——第一次超时就再试一次，还是不行才算真死。就这么着，两百多个网址测下来，大约要跑二十分钟。

跑完的结果让我挺意外。我以为那些老博客论坛早该关张了，结果它们活得比谁都结实。反而几个我天天用的工具站，悄无声息地就没了。有个API文档站，上周还能打开，这周就只剩一个空域名了，连个告别页都没留。互联网就是这么现实，它不跟你商量，默默消失就是它最后的礼貌。

后来我给脚本加了点输出格式，把死链按域名分类，顺便统计下存活率。数据一出来，我发现个规律：那些带.com的老站，存活率明显低于.org和.io的。倒不是说后缀决定命运，而是.com的站多是商业项目，项目黄了域名就没人续费了。反而是些个人爱好者的站点，用着免费或廉价的主机，更新频率低，但就是一直在那儿。

批量测试这事儿，表面看是技术活，其实测的是人性。你收藏一个网址的时候，总觉得以后会再看。但大部分收藏夹里的东西，你一辈子都不会点第二次。这些网址就像通讯录里那些久未联系的朋友，你不知道他们现在过得好不好，甚至不知道他们还在不在这个城市。偶尔清理一次，发现又少了几个人，心里有点空落落的。

我把脚本扔到GitHub上，加了注释，设了定时任务，每周自动跑一遍。现在它比我更清楚我收藏夹里发生着什么。每次看到报告里那些新死的链接，我就想起当初收藏它们时的场景——那个深夜查资料的学生，那个想学做饭的周末，那个准备辞职去旅行的夏天。网址死了，那些念头也早就死了。

不过也有好消息。有个我十年前收藏的小说连载站，一直显示超时，我都准备把它删了。结果某天脚本报告它突然返回200了——站长居然复活了它，还补完了最后三章。我点进去看，评论区里全是像我一样的老读者在留言。那一刻我觉得，批量测试也不全是坏消息，它偶尔也能替你找回点东西。

很赞哦!（85139）