初学Python时期的代码,逻辑流程语法皆有不足,请谅解。
初学Python时期的代码,逻辑流程语法皆有不足,请谅解。
初学Python时期的代码,逻辑流程语法皆有不足,请谅解。
网易云音乐爬虫
使用NeteaseCloudMusicApi+requests原生爬虫,数据存入MySql,并进行简单的数据分析及可视化。
网易云音乐网页端是动态网页需要使用Selenium/PhantomJS进行爬取。由于时间和技术问题,项目直接从API爬取数据。采用第三方API服务,它对官方API进行了整理及封装,方便使用,API文档。
感谢NeteaseCloudMusicApi项目及项目贡献者。
- 安装node js
git clone https://github.com/Binaryify/NeteaseCloudMusicApi
git clone https://github.com/1368129224/NeteaseCloudMusicSpider
- 取消NeteaseCloudMusicApi\util\request.js第42行注释。
- 在NeteaseCloudMusicSpider目录中
pip install -r packages.txt
- 复制NeteaseCloudMusicSpider\config.sample.py为config.py,并按实际修改。
python run.py
50张评论表、歌手粉丝表、歌手表、热门歌曲表。 由于网易云音乐官方API限制,每首歌只能获取最新和最旧各5100条评论,每首歌大约10k条评论。 歌手粉丝表 热门歌曲表 幻听 词云 粉丝分布热力图