您现在的位置是:娱乐 >>正文
excel采集网站数据
娱乐3人已围观
简介上周帮朋友处理一个外贸客户名单,对方发来一个网页链接,里面是几百条采购商信息。朋友说“复制粘贴就行”,结果花了三个小时,贴到一半格式全乱,还漏了十几条。我打开Excel,用“数据”选项卡里的“自网站” ...
上周帮朋友处理一个外贸客户名单,集网据对方发来一个网页链接,站数里面是集网据几百条采购商信息。朋友说“复制粘贴就行”,站数结果花了三个小时,集网据贴到一半格式全乱,站数还漏了十几条。集网据我打开Excel,站数用“数据”选项卡里的集网据“自网站”功能,输入网址,站数点了几下“加载”,集网据三分钟,站数表格里整整齐齐排好了公司名、集网据联系人、站数邮箱、集网据电话。朋友瞪大眼睛问:“你用了什么爬虫软件?”我说:“就Excel,你电脑里一直装着。”
很多人不知道,Excel自带网页抓取功能,而且操作门槛低到令人发指。不需要写代码,不需要装插件,甚至不需要懂什么叫“HTML结构”。你只需要一个能正常打开的网页,以及一份想整理数据的耐心。
具体怎么做?打开Excel,新建一个空白工作簿,点“数据”选项卡,左侧找到“获取数据”,下拉菜单里选“自其他源”,再选“自网站”。这时候会弹出一个对话框,让你输入网址。把目标网页的链接粘贴进去,点“确定”。Excel会调起一个内置浏览器窗口,加载那个页面。等页面完全显示后,你会看到页面左边出现一堆黄色箭头图标,每个箭头对应一个表格区域。点一下你需要的那个表格,Excel会自动框选预览,然后点右下角的“加载”,数据就进了工作表。
但这里有个坑,我必须提醒你。很多网站的数据不是静态的,而是动态加载的——比如京东的商品列表,你往下滚动,它才加载更多。Excel的网页抓取工具只能看到页面初始加载出来的内容,滚动加载的部分它抓不到。解决办法也简单:把网页先完整滚动到底,让所有数据都显示出来,然后再复制网页地址。可有些网站是无限滚动的,永远滚不到头,这时候你就得换个思路,用Excel的“Power Query”功能。在“数据”选项卡里点“获取数据”,选“自其他源”,然后选“自Web”,输入网址后,Power Query会进入一个更强大的编辑器,它能模拟浏览器请求,能处理分页。不过这个功能对新手有点复杂,我建议你先把基础的“自网站”玩明白,再碰Power Query。
我自己的经验是,这个功能最适合抓那些结构规整的静态表格——比如政府发布的统计数据、学术论文里的附录、行业报告里的排行榜。这类网页通常用标准HTML表格写死,Excel抓取后连格式都保留得差不多。但如果是电商页面、社交媒体信息流,那就别指望Excel了,老老实实用Python或者专业采集器。
还有一个细节容易忽略。抓取下来的数据经常带着网页的原始格式,比如超链接的文字颜色、单元格的背景色。你选中数据区域,右键“清除格式”就能恢复干净。另外,有些网页的表格里会有合并单元格,抓下来后会出现空行,你筛选一下,把空行删掉就行。
说到底,Excel采集网站数据就是个“够用就好”的工具。它不炫酷,但胜在随手可用。下次再遇到需要从网页上整理数据,别急着打开记事本或者下载什么“万能采集器”,先试试Excel自带的功能。说不定你缺的不是工具,而是一份“原来这也能行”的认知。
Tags:
相关文章
彩票未中奖报复店主
娱乐彩票店老板老周被人砸了玻璃。砸玻璃的是个三十来岁的男人,姓刘,上周在他店里买了三百多块钱的刮刮乐,一张没中。这事在街坊邻居嘴里传得沸沸扬扬,都说老周倒霉,碰上这种输不起的。 老周自己倒挺淡定,蹲在门口 ...
【娱乐】
阅读更多破解网页购买隐藏内容
娱乐上个月我想看某学术期刊的一篇论文,点开网页,前两段免费,后面直接糊了一层毛玻璃。付费按钮弹出来:单篇38美元。我盯着那个价格看了五秒,然后按下了F12。 这不是什么新鲜事。网页上的"隐藏内容"从来就没 ...
【娱乐】
阅读更多免费api接口平台
娱乐调一个天气接口,返回的数据里湿度是-999。这不是个例。免费API平台上的接口,大概有三成处于半死不活的状态——要么响应慢得让人想砸键盘,要么文档写得像天书,要么某天悄无声息就下线了。 我用过不少免费 ...
【娱乐】
阅读更多