凌晨三点，网络我盯着爬虫脚本的平台日志输出。第47次请求返回了403，数据服务器在拒绝我。网络再试一次，平台换了UA，数据加了代理，网络这次通过了。平台数据流像水一样涌入本地数据库——某电商平台的数据3000条商品评价，带着时间戳、网络用户名和星级。平台这就是数据数据抓取，一场没有硝烟的网络猫鼠游戏。

抓取本身不难。平台难的数据是边界。技术圈有个灰色共识：robots.txt是君子协定，遵守它的是绅士，绕过它的是实用主义者。我见过某初创公司用分布式爬虫，一夜之间把竞品全站商品价格抓了个遍，第二天就调整了自己的定价策略。他们没违法，因为抓的是公开数据。但竞品老板知道后，在朋友圈骂了整整三天。

法律层面，《数据安全法》和《反不正当竞争法》像两把悬在头顶的剑。去年某大数据公司因为抓取社交平台用户公开信息做画像，被判赔偿6500万。法官的判决书里写得很直白：“即使数据是公开的，大规模、系统性抓取并用于商业目的，可能构成对平台经营权益的实质性损害。”这句话值得每个爬虫工程师抄在工位上。

但纯粹的法律视角解决不了所有问题。我认识一个做舆情监测的朋友，他每天抓取新闻网站和论坛的评论，帮政府机构分析民情。这合法，也合道德。另一个做招聘数据聚合的团队，抓了三大招聘平台的职位信息，结果被联合起诉——因为他们的服务直接抢走了平台的流量生意。同样是抓取，一个被赞为“数据民主化”，另一个被骂“寄生虫”。差别在哪？在于你是否动了别人的奶酪。

技术细节里藏着伦理抉择。设置请求频率时，是每分钟10次还是100次？前者对服务器友好，但抓完100万条数据要7天。后者一天搞定，但可能让目标网站CPU飙到90%。我见过某爬虫工程师为了赶项目进度，把并发调到200，结果目标小网站的服务器直接宕机两小时。那家网站是个残疾人就业信息平台，没什么技术防护。事后他在技术群里说：“我当时只想着快点完成任务，没想到对方这么脆弱。”

更隐蔽的问题是数据质量。抓下来的数据未必是真相。平台会反爬，会注入假数据，会故意埋陷阱。某电商平台曾专门发布一批“蜜罐商品”——价格极低但库存为零，专钓爬虫。抓取方如果不够聪明，把这些数据当成真实市场信号，就会做出错误决策。你看，连数据本身都会说谎。

我的态度逐渐从激进转向谨慎。现在写爬虫前，我会先问三个问题：这些数据是否涉及用户隐私？抓取频率是否会给对方服务器造成负担？我的用途是否会损害数据主体的利益？如果三个答案都是否定的，我才动手。这不是道德洁癖，而是风险控制——去年有个同行因为抓取医疗网站的患者评论（虽然是公开的），被患者家属起诉侵犯隐私权，官司打了一年多。

技术本身没有善恶，但使用技术的人有。爬虫写得好不好是能力问题，抓什么数据、怎么抓、用来干什么，是选择问题。凌晨的服务器日志还在滚动，每一行都记录着一个决定。你可以选择做那个只取所需、留有余地的爬虫工程师，也可以选择做那个把数据榨干、不管后果的掠夺者。两者的代码可能只有几行之差，但前者能睡得安稳，后者迟早会收到律师函——或者更糟，收到法院传票。