Python爬虫44万条数据揭秘:如何成为网易音乐评论区的网红段子手
发布时间:2019-10-20 21:05:02 所属栏目:教程 来源:嗨学python
导读:【大咖·来了 第7期】10月24日晚8点观看《智能导购对话机器人实践》 获取数据 其实逻辑并不复杂: 爬取歌单列表里的所有歌单url。 进入每篇歌单爬取所有歌曲url,去重。 进入每首歌曲首页爬取热评,汇总。 歌单列表是这样的: 翻页并观察它的url变化,注意
副标题[/!--empirenews.page--]
【大咖·来了 第7期】10月24日晚8点观看《智能导购对话机器人实践》
获取数据 其实逻辑并不复杂:
歌单列表是这样的: ![]() 翻页并观察它的url变化,注意下方动图,每次翻页末尾变化35。 ![]() 采用requests+pyquery来爬取
这样我们就可以获得38页每页35篇歌单,共1300+篇歌单。 下面我们需要进入每篇歌单爬取所有歌曲url,并且要注意最后“去重”,不同歌单可能包含同一首歌曲。 点开一篇歌单,注意红色圈出的id。 ![]() 观察一下,我们要在每篇歌单下方获取的信息也就是红框圈出的这些,利用刚刚爬取到的歌单id和网易云音乐的api可以构造出: ![]() 不方便看的话我们解析一下json。 ![]()
这样我们就获取了所有歌单下的歌曲,记得去重。
剩下就是获取每首歌曲的热评了,与前面获取歌曲类似,也是根据api构造,很容易就找到了。 ![]()
汇总后就获得了44万条音乐热评数据。 ![]() 数据分析 (编辑:吉安站长网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |
相关内容
- 几何画板如何用轨迹做圆柱 制作方法说明
- 思科发布“ IT 运营就绪性指数”预测: 更多CIO愿意采用分析
- 超V对话:B站、淘宝入局,需求暴增的Vtuber已进入高速发展期
- VR恐怖生存游戏《Project TERMINUS》将在Kickstarter平台发
- 必备!人工智能和数据科学的七大 Python 库
- Mozilla正式发布WebXR浏览器Firefox Reality 10
- 小红书推广的优势 为什么我建议企业选择小红书推广
- 隐秘的暴利:玩车玩出近2000亿,个性化汽车后市场藏着新蓝海
- 助力合作伙伴,HTC VIVE 2020行业生态大会带来企业新动力!
- MindMapper16如何添加特殊字符 特殊符号加入方法
站长推荐
热点阅读