电影网站解析

打开一个电影网站，电影右键查看网页源代码，网站你会发现大部分内容根本不在HTML里。解析十年前不是电影这样，那时候片名、网站简介、解析下载链接全写在静态页面里，电影搜索引擎爬一遍就全收走了。网站现在你看到的解析每一个海报、每一条评分，电影几乎都是网站JavaScript从某个API接口拉回来再渲染上去的。这个变化直接决定了你用什么方式去"解析"它。解析

我拿一个常见的电影影视资源站做过测试。用浏览器F12打开Network面板，网站刷新页面，解析过滤XHR请求，能看到一个返回JSON的接口，里面带着片名、年份、豆瓣评分、磁力链接。请求头里有一个不太起眼的字段，类似 X-Request-Key: a3f8...。直接复制这个URL到新标签页打开，返回403。说明服务端校验了Referer或者某个自定义头。补上Referer再试，数据就出来了。整个过程不需要解析HTML，只需要找到那个接口。

但并非所有站点都这么"友好"。有些站把数据塞在页面的 <script> 标签里，形如 window.__INITIAL_STATE__ = { ...}。这种叫服务端渲染注水，数据其实已经在HTML里了，只是藏在JS变量中。用正则提取那段JSON，比用BeautifulSoup去逐个找DOM节点快得多，也稳定得多——因为class名可能每周都变，但注水数据的结构通常跟着前端框架走，改动频率低。

真正麻烦的是那些纯客户端渲染又做了反爬的站。页面加载后先执行一段混淆过的JS，生成一个token，再拿token去请求数据接口。你用requests直接抓，拿到的永远是一个空壳HTML。这时候要么上Selenium/Playwright驱动真实浏览器，要么用PyExecJS去跑那段混淆代码。我倾向于后者，资源占用小，但前提是你能把那段JS抠出来并且补上它依赖的浏览器环境变量，比如navigator.userAgent、window.btoa这些。抠不出来就只能老老实实开浏览器。

还有一种情况值得单独说：m3u8视频流。很多电影站不直接给mp4链接，而是给一个m3u8播放列表。你打开它，里面是一串ts分片地址。解析这种内容的目标不是拿页面数据，而是把分片按顺序下载再合并。ffmpeg一行命令就能搞定：ffmpeg -i index.m3u8 -c copy output.mp4。但有些站会给每个ts请求加时效性token，过期就403。那就得在token失效前把整个列表跑完，或者找到token的生成规律——通常跟时间戳有关，md5(时间戳+盐)之类。逆出来之后自己拼URL就行。

说点实际的判断。如果你只是偶尔抓一个站的数据，优先看Network面板找XHR接口，八成能直接拿到JSON。如果接口有签名，看签名逻辑复不复杂，简单就逆，复杂就换Playwright。如果目标是下载视频而非元数据，直接盯m3u8，别在HTML解析上浪费时间。最后提醒一句：很多电影站本身就在灰色地带，解析技术是一回事，拿它做什么是另一回事。我写这些只是记录技术路径，不构成任何鼓励。