四川红网

  1. 首页 > 生活经验 > >

Python数据分析之爬虫第三练：怎么把爬取到的数据存入数据库

生活百科生活知道

应用背景
我们爬取数据的目的肯定不是单纯地为爬而爬，终极目标还是需要把这些数据用起来 。毋庸置疑 ， 数据被应用的大前提就是先要按需求被保存 。如何保存呢？
保存成本地文件？没问题 ， 当然可以，对于不熟悉数据库的用户来说这是一个非常好的方案 。但是对于大数据环境下的数据应用而言 ， 就不能不利用数据库了 。
数据库的好，谁用谁知道！那么，如何把爬取到的数据存入到数据库呢？以下enjoy~~~
数据仓库
python数据库基础
本文以单机版的mysql为例静态网页的爬取思路，其他的数据库本质相同，有兴趣的同学可以自行百度呦（读者：讨厌，又是自己百度 ， 难道就不能一次说全么！笔者：额，还是自己百度吧，数据分析的基本技能之一就是多动手~~~） 。
自己动手 ， 丰衣足食
1 MySQL安装和配置
教程可参阅：，需要注意的是cmd需要以管理员身份运行，避免出现命令被拒绝执行的问题 。
2 MySQL连接工具SQLyog安装
本文使用是SQLyog，之所以选择这个，是因为可以导出表结构，具体的信息可以自己百度下 。不过鄙人在安装时，遇到报错信息：plugin caching_sha2_password could not be loaded，这个问题的处理可参阅:。
SQLyog页面
3 Python连接MySQL
本文使用的是pymysql库，在Jupyter中可以通过下面的方式安装，命令行工具直接pip即可 。
!pip install pymysql# Jupyter中安装使用!pip install xxx
安装完毕后，就可以导入使用，代码示例如下所示 。
import pymysql# 导入工具包# 通过pymysql.connect()函数连接数据库db = pymysql.connect(host='localhost',# MySQL服务器地址port=3306,# 数据库的端口user='root',# 数据库的用户名password='123456',# 数据库的密码database='python_data',# 数据库名称charset='gb2312')# 编码方式cur = db.cursor()# 模拟执行SQL语句的固定写法，只有引入会话指针后才能接着调用SQL语句sql = 'INSERT INTO shlpractice1(company, title, href, source, date) VALUES (%s, %s, %s, %s, %s)'# %s称为占位符，有几个元素就写几个%s 。每一个%s代表一个字符串，之后可以传入相应的具体内容 cur.execute(sql, (company, title[i], href[i], source[i], date[i]))# 执行SQL语句并传入相应的内容db.commit()# 更新数据表的固定写法# 最后需要关闭之前引入的会话指针cur和数据库连接cur.close()db.close()
完整代码
'''## =========================================## Title:3.2 用Python存储数据到数据库## Author: 职教之光## Date:2022-04-29## =========================================='''#!/usr/bin/python# -*- coding: UTF-8 -*-import osos.chdir('D:/3.DA/Finance Bigdata mining and analysis with Python')# 变更工作目录print('项目工作目录为：n%s'% os.getcwd())# 获取当前工作目录print(66 * '-')#分割线import requestsimport reimport pymysqlimport time# UA代表访问网站的浏览器是哪种浏览器，可以通过在地址栏中输入“about:version”获取# “”是行连接符,headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebkit/537.36 (KHTML, like Gecko)Chrome/100.0.4896.127 Safari/537.36'}def baiduinfo(company, page):num = (page - 1) * 10# 参数规律是（页数-1）*10url = 'https://www.baidu.com/s?tn=news&rtt=1&bsst=1&cl=2&wd=' + company + '&pn=' + str(num)web = requests.get(url, headers=headers, timeout=10).text# 设置超时为10s ， 避免程序挂死# print(url)page_href = https://www.30zx.com/'


这一坨代码执行成功的结果打印如下，数据库中的记录见上面SQLyog的示意图 。
执行打印结果
一起动手练
下面又到了动动手环节静态网页的爬取思路，小伙伴们，一起敲起来呦~~~
欢迎交流与探讨！
一起做游戏
【Python数据分析之爬虫第三练：怎么把爬取到的数据存入数据库】本文到此结束，希望对大家有所帮助！

猜你喜欢

上一篇：第六天 看高手如何把一个新站优化到搜索引擎的首页

下一篇：seo 你现在需要让5个搜索引擎优化技术退休！