爬虫小说网站

我盯上那个小说网站已经三天了。爬虫它的小说排版干净，目录清晰，网站偏偏每一章都只给读者看前两段，爬虫剩下的小说一律锁在付费墙后面。我需要的网站不是盗版，只是爬虫把那些公开的试读章节批量存下来做语料分析——但手动复制三百章，手会废。小说

于是网站写爬虫。Python，爬虫requests库，小说加一个BeautifulSoup，网站三十分钟搞定的爬虫事。可打开开发者工具一看，小说好家伙，网站页面是动态渲染的，HTML源码里干干净净，连个章节标题的影子都没有。数据藏在XHR请求里，服务器还验Referer。第一版爬虫直接撞墙。

换思路。selenium模拟浏览器，慢是慢点，但能拿到渲染后的完整DOM。爬了五十章，一切顺利，然后IP被封了。网站的反爬策略不算高明，但足够烦人——每两小时限一次访问，每次最多二十页。我盯着报错信息，忽然觉得这像一场博弈。对方设防，我拆招，谁也没真打算置谁于死地，就是耗时间。

后来我干脆把速率降到人类阅读的速度，每抓一章停个七八秒，随机抖动间隔。再配上cookie池，轮换user-agent。这下稳了。三百章，跑了大概四个小时。中途我出去吃了碗面，回来时进度条刚好走完。那一刻的成就感，比小说情节本身还让人上瘾。

数据存进本地SQLite，顺手写了个统计脚本。结果挺有意思——那个作者最爱用“他沉默了片刻”，全书出现两百多次；对话里“嗯”字占了所有语气词的四成。这些细节，不爬下来根本发现不了。我甚至拿这些数据做了个词频云图，贴在工位旁边，同事问起来，我就说这是“当代网文写作习惯的量化研究”。

当然，爬虫这事有边界。我守住了两条线：不碰付费内容，不绕验证码。技术上能做和道德上该做是两码事。那些需要登录才能看的章节，我一条都没碰。免费试读的部分本来就是对公众开放的，我只是用程序代替了手动复制，本质没区别。但要是动了付费墙，那就不是爬虫，是偷。

最后那批数据我用了两周，分析完就删了。网站没找我麻烦，我也没再回去爬第二次。工具这东西，用完就该收起来。倒是那个作者后来新书改了风格，“沉默了片刻”出现的频率明显低了——不知道是不是也有人在用数据盯着他写。