电商平台的爬虫价格数据是爬虫最爱啃的骨头。你写个脚本去抓某东某宝的般爬商品页，翻上几十页，什网把标题、爬虫价格、般爬销量、什网评论数全撸下来，爬虫做成表格丢进数据库。般爬这事儿违法吗？什网灰色地带。平台当然不乐意，爬虫但小规模抓取，般爬人家懒得理你。什网我见过一个做比价工具的爬虫小团队，每天定时爬三大电商，般爬就靠这个吃饭。什网后来被警告了，改成用官方API，成本一下子上去了。

新闻门户和博客站也是重灾区。新浪、网易、腾讯，这些站点的文章列表页结构稳定，翻页规律明显，新手练手都拿它们开刀。抓标题、发布时间、正文，做个聚合阅读器。但有个坑：很多新闻站现在用JS动态加载，你直接requests.get拿到的HTML里根本没内容，得分析XHR请求或者上Selenium。我试过抓某地方新闻网的民生栏目，翻到第50页之后返回403，加个User-Agent伪装成百度蜘蛛就过了。这种猫鼠游戏永远在继续。

社交媒体才是真正的硬骨头。微博、知乎、小红书，数据金贵得很。微博的接口加密参数一堆，什么uid、since_id、cookie里的SUB，少一个都拿不到数据。有人专门卖微博爬虫的cookie池，按天计费。知乎更狠，登录才能看全文，而且频繁请求直接封IP。我认识一个做舆情监控的，养了上百个账号轮着爬，光手机号成本一个月就几千块。小红书最近改版后，笔记详情页的图片链接加了防盗链，你得带上referer才行。这些平台的反爬工程师比爬虫工程师还拼。

政府公开数据网站算是一股清流。统计局、气象局、裁判文书网，这些站点的数据本来就该公开，只是没提供批量下载。你写个爬虫把各省的年度GDP数据扒下来，做个可视化图表，没人找你麻烦。但裁判文书网前两年改版后加了验证码，爬取难度直线上升。我试过用打码平台，识别率不到七成，还得手动补。后来干脆放弃，改用他们的高级检索功能，一天导出一千条，够用了。

论坛和贴吧是怀旧派爬虫的乐园。天涯、豆瓣小组、百度贴吧，这些地方的结构十年没大变过。豆瓣的“小组讨论”列表页，翻页参数就一个start=25的倍数，简单粗暴。我爬过“租房”小组的帖子，把标题里的“地铁”“押一付三”“朝阳”这些关键词提取出来，做了个房源地图。结果发现中介发的帖子占了一大半，真正的个人房源不到两成。贴吧更麻烦，手机端和PC端返回的HTML不一样，你得盯着一个版本爬。

视频网站的数据爬取，主要冲着弹幕和评论去的。B站的弹幕接口是公开的，xml格式，直接下载就行。但评论区的分页参数有签名校验，得逆向JS。我见过有人把《甄嬛传》的全部弹幕爬下来，做了个词云，满屏的“臣妾做不到”。优酷和爱奇艺的评论接口加密更复杂，据说用上了WebAssembly。普通爬虫玩家基本绕道走。

招聘网站是个特殊存在。拉勾、BOSS直聘、智联，这些站点的职位信息更新快，但反爬也狠。BOSS直聘的cookie里有个__zp_stoken__，每次请求都得重新计算。有人专门写了破解算法，在GitHub上开源，结果没几天就被平台发律师函了。我建议想爬招聘数据的人，老老实实买他们的企业版API，虽然贵，但省心。自己硬爬，封号封IP是小事，被起诉就麻烦了。

最后说个冷门的：天气网站。中国天气网的历史数据页面，结构简单，没有反爬。我写了个脚本把全国主要城市过去十年的每日气温、降水、风速全爬下来，存成CSV。后来做数据分析时发现，有些年份的数据缺了几天，得手动补。这种公益性质的数据，爬就爬了，没人管。但你要是拿去做商业气象服务，那就另说了。

爬虫这东西，技术本身没善恶，看你怎么用。爬公开数据做研究，没问题。爬别人花钱买的数据去卖，那就是找事。我自己的原则是：只爬那些你手动点开也能看到的内容，频率别太高，别给人家服务器添堵。至于那些需要登录、需要破解加密参数的，能绕就绕，绕不过就换目标。互联网这么大，总有一块地是留给爬虫的。