游客发表
上周帮一个做独立站的免费朋友看他的产品页,发现整站文案被另一个域名一字不差地搬走了,站扒连图片文件名都没改。皮工他问有没有办法把对方网站整个“扒”下来找证据,免费我扔给他一个工具链接,站扒十分钟后他发来截图——对方连robots.txt都没设,皮工整站结构一览无余。免费
这事让我想起刚入行时,站扒为了研究竞品的皮工产品描述结构,硬生生手动复制了三十多个页面。免费现在回头看,站扒纯属浪费生命。皮工免费扒皮工具早就是免费公开的秘密,只是站扒很多人不知道用哪个、怎么用。皮工
HTTrack 1998年就发布了,界面丑得像上世纪的产物,但功能一点不含糊。输入目标网址,选好保存路径,点“下一步”,它就开始顺着链接爬。默认设置下,它会下载HTML、图片、CSS、JS,甚至把页面里的链接改成相对路径,方便你离线浏览整个镜像站。
我拿它扒过一个做复古相机评测的博客,大概两百多篇文章,连评论区都完整抓下来了。缺点是速度慢,默认并发数低,遇到大站得手动调参数。另外它不执行JavaScript,纯静态页面没问题,SPA站点就抓不到动态渲染的内容。
有个细节值得注意:HTTrack默认会遵守robots.txt。如果对方禁止爬取,你得在设置里手动关掉这个选项。当然,扒别人网站之前最好想清楚用途——研究竞品结构没问题,直接复制内容上线就是另一回事了。
Linux和macOS自带wget,Windows装个Git Bash也能用。一行命令就能镜像整站:
wget --mirror --convert-links --adjust-extension --page-requisites --no-parent https://example.com 参数拆开看:--mirror开启镜像模式,--convert-links把链接转成相对路径,--page-requisites下载页面所需的所有资源,--no-parent防止爬到上级目录。速度比HTTrack快得多,适合批量处理。
我常用它来备份自己维护的文档站。有次服务器迁移前忘了备份,直接用wget把整个站点拖到本地,省了一堆麻烦。但wget同样不处理JS渲染,遇到前端框架生成的页面就抓瞎。
如果只需要保存单个页面,SingleFile扩展是最省事的。装完点一下图标,它把当前页面所有资源打包成一个HTML文件——CSS内联、图片转base64、JS也嵌进去。发给别人直接双击打开,跟原站长得一模一样。
我拿它存过一些限时优惠页面和活动专题,过几个月回头看,连倒计时组件都还在跑。缺点是文件体积大,一个普通页面轻松超过5MB。另外它只处理当前页,想扒整站得配合其他工具。
找竞品定价策略,用HTTrack把对方所有产品页扒下来,本地搜索“$”符号,价格区间一目了然。研究SEO结构,wget抓下来后用Screaming Frog分析内链分布。保存设计灵感,SingleFile存下那些随时可能改版的优秀落地页。
有个做外贸的朋友更绝,他用HTTrack定期镜像几个同行站点,对比不同时期的页面改动,推测对方的运营节奏和上新计划。这招不违法,但确实有点“商业间谍”的味道。
扒下来的页面里可能藏着绝对路径的链接,离线打开时跳回原站。HTTrack和wget都有链接转换选项,记得勾上。另外有些站点用CDN动态加载资源,扒下来的页面会缺样式或图片,这时候得手动补。
最要紧的是:扒皮工具本身不违法,但扒下来的内容怎么用,自己得掂量。研究、备份、存档都没问题,直接复制粘贴上线,那就是另一码事了。
```友情链接