python怎么操作mysql python如何爬取大众点评评论信息?如何保存到mysql数据库中?

[更新]
·
·
分类:互联网
1605 阅读

python怎么操作mysql

python如何爬取大众点评评论信息?如何保存到mysql数据库中?

python如何爬取大众点评评论信息?如何保存到mysql数据库中?

这个非常简单,大众点评的数据是静态加载的,直接嵌套在网页源码中,所以直接爬取就行,下面我简单介绍一下实现过程,实验环境win10 python3.6 pycharm5.0,主要内容如下:
1.这里随便打开一个商户的评论页面,假设爬取的信息主要包括用户昵称、商户等级以及评论内容这3个字段(其他字段也可以),如下:
2.接着右键检查元素,就可以看到对应的网页标签信息,包括属性、文本等,里面就有我们需要爬取的内容,如下:
3.然后就是针对上面的网页结构编写对应代码解析网页内容,这里主要用到requests BeautifulSoup组合,其中requests用于请求页面,BaautifulSoup用于解析页面,提取内容,测试代码如下,非常简单:
点击运行这个程序,效果如下,已经成功爬取到评论内容:
4.最后就是保存数据到mysql数据库中,主要用到pymysql这个模块,用于插入数据到mysql数据库中,安装的话,直接输入命令“pip install pymysql”就行,安装完成后,新建一个dzdp数据表,包含有user,rank,content这3个字段,接着就可以直接编写代码插入数据了,测试代码如下:
点击运行这个程序,打开mysql数据库,已经成功插入数据,截图如下:
至此,我们就完成了利用Python爬取大众点评评论信息并保存到mysql数据库中。总的来说,整个过程非常简单,因为是静态加载的数据,所以直接解析网页就行,如果是动态的,就需要抓包分析了,只要你熟悉一下上面的代码,很快就能掌握的,当然,你也可以使用scrapy爬虫框架爬取,都可以,网上也有相关教程和资料,非常丰富,感兴趣的话,可以搜一下,希望以上分享的内容能对你有所帮助吧,也欢迎大家评论、留言。

python如何进行数据库操作?

Python对数据库操作通过接口或者ORM对数据库进行操作。
ORM,比较有名的是SQLALchemySQLALchemy是一个在MIT许可下发布的开源SQLORM。它专为高效率和高性能的数据库访问设计的。采用数据映射模式。SQLALchemy的工作单元主要通过session中控制每个对象的生命周期。
通过接口的模式操作数据库,比较常用的有mysqldbMySQLdb是用于Python链接mysql数据库的接品,实现了python数据库API规范V2.0。
表示连接数据库
cursor是游标,表示使用cursor方法操作游标
execute是具体执行的动作,包括数据库的增删改操作
close表示关闭数据库
上面主要介绍了两种连接数据库的方式,介绍了其中两个比较典型的包。