rejected by urlscan

上周三凌晨两点，我盯着浏览器里那行红色错误提示，第三次把同一个链接丢进urlscan.io。结果没变：Rejected by urlscan。不是超时，不是404，是直接拒收。那个页面我亲手搭的，部署在Vercel上，HTTPS证书正常，没有挖矿脚本，没有混淆代码。它只是——被urlscan的自动过滤器拦在了门外。

这事让我想起2022年帮一个客户排查钓鱼邮件。当时用urlscan分析一个可疑域名，提交后同样被拒。客户急了，说你们安全工具连链接都不让扫，还分析什么。我只好换VirusTotal，换Any.run，最后靠手动curl加浏览器DevTools才搞定。urlscan的拒绝理由从来不会告诉你具体触发了哪条规则。它只丢回一个冷冰冰的Rejected，像夜店保安挥手让你走开，不解释，不申诉。

我翻过urlscan的文档。官方说拒绝原因包括：目标IP属于私有地址段、域名解析到内网、页面需要登录、或者提交频率超限。可我那个链接解析到76.76.21.21，Vercel的公开IP。页面不需要登录。提交频率？我一天只试了三次。后来我换了个域名，同样的页面内容，同样的服务器，通过了。区别在于旧域名里带了个test前缀。urlscan的过滤器大概把test当成某种测试或内部标识，直接拉黑。这种启发式规则不公开，你只能猜。

更让人头疼的是，urlscan的拒绝行为没有统一日志。你在网页端提交被拒，看不到请求ID。用API提交，返回的JSON里只有{ "message":"Rejected by urlscan","status":400}。没有details字段，没有rule名称。我试过抓包，发现请求甚至没到达扫描队列，在网关层就被挡了。这意味着你无法通过重试或调整参数来绕过——除非你换域名、换IP、换User-Agent，像打地鼠一样试。

有个做威胁情报的朋友告诉我，他们内部把urlscan的拒绝分成三类：硬拒绝（私有IP、非法协议）、软拒绝（频率、可疑关键词）、以及“薛定谔的拒绝”——同样的URL，早上提交被拒，下午提交通过。他遇到过最离谱的一次：一个纯静态HTML页面，因为标题里写了“admin panel”，被拒。改成“dashboard”就过了。urlscan的过滤器对某些词汇过敏，但过敏原清单不公开。

这带来一个实际问题：安全分析师依赖urlscan做初步筛查，可当它拒绝一个合法URL时，你没法区分“这个链接有害所以被拒”和“这个链接无害但触发了误报”。前者你应该警惕，后者你白白浪费二十分钟。我现在的做法是：被拒后立刻用curl -I看响应头，用dig看解析，再开无痕窗口手动访问。如果页面正常加载且没有跳转，我就换urlscan.io的替代品，比如urlquery.net或hybrid-analysis。但那些工具要么界面老旧，要么扫描速度慢一倍。

urlscan团队当然有理由收紧过滤。公开扫描服务容易被滥用，有人拿它扫内网、扫僵尸网络C2、甚至扫儿童色情内容。2021年他们就因为滥用问题关停过匿名提交。可过滤规则不透明，误伤的是正常用户。我提过issue，官方回复说“为了对抗滥用，不能公开规则细节”。这逻辑成立，但体验糟糕。就像机场安检不告诉你为什么开箱，只说“随机抽查”。

昨天我又试了那个test域名。还是被拒。我把它301重定向到一个新域名，新域名提交成功。扫描结果干净，零恶意指标。那个test前缀至今躺在我的黑名单里，像一道看不见的墙。下次你被urlscan拒绝，别急着怀疑自己的页面有问题。先换个域名，换个路径，甚至换个大小写。如果还不行，就放弃吧——它不想扫你，你求也没用。