数据结构化与保存

1. 将新闻的正文内容保存到文本文件。

f = open('gzccnews.txt','a',encoding='utf-8')f.write(content)f.close()

2. 将新闻数据结构化为字典的列表:

单条新闻的详情-->字典news
一个列表页所有单条新闻汇总-->列表newsls.append(news)

所有列表页的所有新闻汇总列表newstotal.extend(newsls)

def getNewsDetail(newsUrl): #一篇新闻的全部信息resd = requests.get(newsUrl)resd.encoding = 'utf-8'soupd = BeautifulSoup(resd.text, 'html.parser')  # 打开新闻详情页news = {}news['title'] = soupd.select('.show-title')[0].textinfo = soupd.select('.show-info')[0].text# c = soupd.select('#content')[0].text  # 正文dt = info.lstrip('发布时间:')[:19]  # 发布时间news['dati'] = datetime.strptime(dt, '%Y-%m-%d %H:%M:%S')if info.find('来源：') > 0:news['source'] = info[info.find('来源：'):].split()[0].lstrip('来源：')else:news['source'] = 'none'#news['content']  = soupd.select('.show-content')[0].text.strip()#writeNewsDetail(news['content'])news['click ']= getClickCount(newsUrl)news['newsUrl']=newsUrlreturn (news)def getListPage(pageUrl): #一个列表页的全部新闻res = requests.get(pageUrl)res.encoding = 'utf-8'soup = BeautifulSoup(res.text,'html.parser')newslist =[]for news in soup.select('li'):if len(news.select('.news-list-title')) > 0:newsUrl = news.select('a')[0].attrs['href']  # 链接newslist.append(getNewsDetail(newsUrl))return (newslist)newstotal =[]
firstPageUrl='http://news.gzcc.cn/html/xiaoyuanxinwen/'
newstotal.extend(getListPage(firstPageUrl))

　3. 安装pandas，用pandas.DataFrame(newstotal)，创建一个DataFrame对象df.

import datetime
newsTotal =[{'title': '搭建校政协同育人新平台——广州市法律援助处在我校建立工作站', 'dati': datetime.datetime(2018, 4, 13, 16, 19, 2), 'source': '学校综合办', 'click ': 2658, 'newsUrl': 'http://news.gzcc.cn/html/2018/xiaoyuanxinwen_0413/9225.html'},
{'title': '我校学子在第九届广东省“蓝桥杯”大赛中喜获一等奖', 'dati': datetime.datetime(2018, 4, 13, 10, 23), 'source': '信息技术与工程学院', 'click ': 2031, 'newsUrl': 'http://news.gzcc.cn/html/2018/xiaoyuanxinwen_0413/9214.html'},
{'title': '我校品牌影响力位居广东民办高校前列', 'dati': datetime.datetime(2018, 4, 12, 17, 27, 50), 'source': '学校综合办', 'click ': 2112, 'newsUrl': 'http://news.gzcc.cn/html/2018/xiaoyuanxinwen_0412/9216.html'},
{'title': '英国普利茅斯大学代表来访我校', 'dati': datetime.datetime(2018, 4, 12, 14, 1, 24), 'source': '国际学院', 'click ': 2187, 'newsUrl': 'http://news.gzcc.cn/html/2018/xiaoyuanxinwen_0412/9212.html'},
{'title': '英国赫尔大学代表来访我校', 'dati': datetime.datetime(2018, 4, 11, 16, 30, 4), 'source': '国际学院', 'click ': 3672, 'newsUrl': 'http://news.gzcc.cn/html/2018/xiaoyuanxinwen_0411/9205.html'},
{'title': '我校学子入选2018年世界大学生空手道锦标赛', 'dati': datetime.datetime(2018, 4, 11, 15, 10, 46), 'source': '公共体育部', 'click ': 6643, 'newsUrl': 'http://news.gzcc.cn/html/2018/xiaoyuanxinwen_0411/9203.html'},
{'title': '我校参加2018年全国大学生征兵工作视频会议', 'dati': datetime.datetime(2018, 4, 4, 9, 35), 'source': '学生处', 'click ': 27199, 'newsUrl': 'http://news.gzcc.cn/html/2018/xiaoyuanxinwen_0404/9183.html'},
{'title': '党情国情在我心，理想信仰伴我行——我校举行十九届三中全会和2018年“两会”知识竞赛', 'dati': datetime.datetime(2018, 4, 1, 11, 57), 'source': '马克思主义学院', 'click ': 6799, 'newsUrl': 'http://news.gzcc.cn/html/2018/xiaoyuanxinwen_0401/9167.html'},
{'title': '校党委书记吕泉荣参加结对子班级主题班会', 'dati': datetime.datetime(2018, 4, 1, 9, 28), 'source': '学生工作处', 'click ': 6065, 'newsUrl': 'http://news.gzcc.cn/html/2018/xiaoyuanxinwen_0401/9163.html'},
{'title': '我校2018年新增学士学位授予专业评审工作顺利完成', 'dati': datetime.datetime(2018, 3, 30, 17, 10, 12), 'source': '评建与督导办公室', 'click ': 6201, 'newsUrl': 'http://news.gzcc.cn/html/2018/xiaoyuanxinwen_0330/9155.html'},
{'title': '经济系陆川、白丽老师编著的《电子商务实验》被列为21世纪高等学校电子信息类专业规划教材', 'dati': datetime.datetime(2005, 7, 10, 0, 0), 'source': 'none', 'click ': 1157, 'newsUrl': 'http://news.gzcc.cn/html/2005/xiaoyuanxinwen_0710/2.html'},
{'title': '我院2005年网页制作比赛圆满结束', 'dati': datetime.datetime(2005, 7, 10, 0, 0), 'source': 'none', 'click ': 1080, 'newsUrl': 'http://news.gzcc.cn/html/2005/xiaoyuanxinwen_0710/3.html'},
{'title': '我院首届教学工作会议胜利召开', 'dati': datetime.datetime(2005, 7, 10, 0, 0), 'source': 'none', 'click ': 1100, 'newsUrl': 'http://news.gzcc.cn/html/2005/xiaoyuanxinwen_0710/4.html'}]import pandas
df = pandas.DataFrame(newsTotal)

　　4. 通过df将提取的数据保存到csv或excel 文件。

```
df.to_excel('gzccnews.xlsx')　
```

5. 用pandas提供的函数和方法进行数据分析：

提取包含点击次数、标题、来源的前6行数据
提取‘学校综合办’发布的，‘点击次数’超过3000的新闻。
提取'国际学院'和'学生工作处'发布的新闻。
进取2018年3月的新闻

print(df.head(6))
print(df[(df['click ']>3000)&(df['source']== '学校综合办')])
#print(df[(df['source']== '国际学院')|(df['source']== '学生工作处')])
sou = [ '国际学院','学生工作处']
print(df[df['source'].isin(sou)])
df1=df.set_index('dati')
print(df1['2018-03'])

6. 保存到sqlite3数据库

import sqlite3
with sqlite3.connect('gzccnewsdb.sqlite') as db:df.to_sql('gzccnews',con=db,if_exists='replace')

7. 从sqlite3读数据

with sqlite3.connect('gzccnewsdb.sqlite') as db:df2 = pandas.read_sql_query('SELECT * FROM gzccnews',con=db)
print(df2)

8. df保存到mysql数据库

安装SQLALchemy
```
pip install SQLALchemy
```
　　
安装PyMySQL
```
pip install PyMySQL
```
　　MySQL里创建数据库：create database gzccnews charset utf8;

import pymysql
from sqlalchemy import create_engine
conn=create_engine('mysql+pymysql://root:@localhost://3306/gzcc?charset=utf8')
pandas.io.sql.to_sql(df,'gzccnews',con=conn,if_exists='replace')