python如何爬取大众点评评论信息？如何保存到mysql数据库中？ _生活知道

这个非常简单，大众点评的数据是静态加载的，直接嵌套在网页源码中，所以直接爬取就行，下面我简单介绍一下实现过程，实验环境win10+python3.6+pycharm5.0，主要内容如下：
1.这里随便打开一个商户的评论页面，假设爬取的信息主要包括用户昵称、商户等级以及评论内容这3个字段（其他字段也可以），如下：
2.接着右键检查元素扒取网站代码工具，就可以看到对应的网页标签信息，包括属性、文本等，里面就有我们需要爬取的内容，如下：
3.然后就是针对上面的网页结构编写对应代码解析网页内容，这里主要用到requests+BeautifulSoup组合，其中requests用于请求页面，BaautifulSoup用于解析页面，提取内容，测试代码如下，非常简单：

文章插图
点击运行这个程序，效果如下，已经成功爬取到评论内容：
4.最后就是保存数据到mysql数据库中，主要用到pymysql这个模块，用于插入数据到mysql数据库中，安装的话，直接输入命令“pip install pymysql”就行，安装完成后，新建一个dzdp数据表，包含有user，rank，content这3个字段，接着就可以直接编写代码插入数据了扒取网站代码工具，测试代码如下：
点击运行这个程序，打开mysql数据库，已经成功插入数据，截图如下：
至此，我们就完成了利用Python爬取大众点评评论信息并保存到mysql数据库中。总的来说，整个过程非常简单，因为是静态加载的数据，所以直接解析网页就行，如果是动态的，就需要抓包分析了，只要你熟悉一下上面的代码，很快就能掌握的，当然，你也可以使用scrapy爬虫框架爬取，都可以，网上也有相关教程和资料，非常丰富，感兴趣的话，可以搜一下，希望以上分享的内容能对你有所帮助吧，也欢迎大家评论、留言。
【python如何爬取大众点评评论信息？如何保存到mysql数据库中？】本文到此结束，希望对大家有所帮助！

python如何爬取大众点评评论信息？如何保存到mysql数据库中？

猜你喜欢