上周帮一个做市场调研的批量朋友处理数据，她要从87个竞品官网里摘出产品描述和价格信息。网页文字手动复制粘贴？工具她试了三个小时，搞了11个页面就崩溃了。批量我扔给她一个批量网页文字提取工具，网页文字二十分钟后她发来消息：剩下的工具76个页面全搞定了。

这类工具的批量核心逻辑其实不复杂。你给它一串URL，网页文字它逐个访问、工具解析HTML、批量把正文文字抽出来，网页文字最后打包成一个CSV或TXT文件。工具听起来简单，批量但真正好用的网页文字工具和勉强能跑的脚本之间，差距大得离谱。工具

我最早用Python的BeautifulSoup写过提取脚本。写的时候挺得意，跑起来才发现问题：有些网站正文藏在JavaScript渲染的DOM里，requests库抓回来的HTML根本是空壳。还有些页面广告和导航栏的文字混在一起，提取出来的内容像一碗杂烩。后来换成Selenium加Readability算法，效果好多了，但速度慢得让人想砸键盘——每个页面等渲染就要五六秒。

现在市面上的批量提取工具大致分两类。一类是浏览器插件，比如Web Scraper和Instant Data Scraper。好处是可视化操作，点几下就能配置抓取规则，适合不写代码的人。缺点是开着浏览器跑几十个页面，内存吃得厉害，而且遇到反爬机制容易卡死。另一类是独立软件或在线服务，像Octoparse、ParseHub，能处理更复杂的场景，支持定时任务和云端运行，但免费版通常限制页数，超出就要付费。

选工具的时候有几个坑得留意。第一，别被“支持所有网站”的宣传忽悠。没有任何工具能通吃所有网页结构，尤其是那些重度依赖前端框架的站点。第二，注意提取精度。有些工具确实能把文字弄出来，但段落顺序全乱了，标题和正文搅在一起，后期整理的时间比手动复制还长。第三，检查是否支持自定义规则。比如你只想提取class为“article-content”的div里的文字，工具得让你能指定这个条件。

我自己的主力方案是Python脚本加Trafilatura库。Trafilatura专门为正文提取设计，对新闻、博客类页面的识别准确率很高，而且速度快。配合concurrent.futures做并发，100个页面大概两三分钟跑完。遇到动态渲染的站点，就换Playwright，虽然重一些，但兼容性好。这套组合不算优雅，但胜在可控——哪里出问题我能直接改代码，不用等工具厂商更新版本。

批量提取出来的文字还得做一轮清洗。网页里常混着“点击这里”“阅读更多”这类按钮文字，还有版权声明、评论区的碎片。我一般用正则先过滤掉短于15个字符的段落，再根据标点密度筛一遍。这一步没有通用方案，得根据目标网站的特点来调。有一次提取电商页面，价格数字和货币符号被拆成两行，只好额外写个规则把相邻的文本节点合并。

说到底，批量网页文字提取不是什么高深技术，但要做好得花点心思。工具能省掉重复劳动，可前期配置和后期清洗的时间往往被低估。如果你只是偶尔处理十来个页面，手动复制可能更快。一旦上了五十个，或者需要定期抓取，那花半小时搭个流程绝对值得。我那个朋友现在每周跑一次脚本，把竞品价格变动自动存进数据库，省下来的时间够她多写两份分析报告了。