项目托管平台地址:https://github.com/xyhcq/top250
开发模块功能: 写入文件功能
开发时间:3小时
实现将爬取到的信息写入到文件中的功能
实现过程:
# 打开文件 f=open("top250.txt","w")
在别的队员写的代码基础上,加入功能代码
def getData(html):# 分析代码信息,提取数据soup = BeautifulSoup(html, "html.parser")# 找到第一个class属性值为grid_view的ol标签movieList=soup.find('ol',attrs={'class':'grid_view'})# 找到所有的li标签for movieLi in movieList.find_all('li'): # 找到第一个class属性值为hd的div标签movieHd=movieLi.find('div',attrs={'class':'hd'})# 找到第一个class属性值为title的span标签 #也可使用.string方法# 获取电影名字movieName=movieHd.find('span',attrs={'class':'title'}).getText()print movieNamef.write('电影名:'+movieName.encode('utf-8')+' ')# 获取电影链接movieUrl=movieHd.find('a class="" href="')print movieUrl# 写入文件f.write('链接:'+str(movieUrl)+' ')# 获取电影导演/演员movieBd = movieLi.find('div', attrs={'class': 'bd'})movieSF=movieBd.find('p',attrs={'class':''}).getText()print movieSF# 写入文件f.write('Staff:'+movieSF.encode('utf-8')+' ')# 获取电影的评分movieScore=movieLi.find('span',attrs={'class':'rating_num'}).getText()print movieScore# 写入文件f.write('评分:'+movieScore.encode('utf-8')+' ')#获取电影的评论数movieEval=movieLi.find('div',attrs={'class':'star'})movieEvalNum=re.findall(r'\d+',str(movieEval))[-1]print movieEvalNumf.write('评论数:'+movieEvalNum.encode('utf-8')+' ')# 获取电影短评movieQuote = movieLi.find('span', attrs={'class': 'inq'})# 有的电影没有短评,为防止报错,加次if(movieQuote):print movieQuote.getText()# 写入文件f.write('短评:'+movieQuote.getText().encode('utf-8')+'\n')else:# 写入文件f.write('短评:'+"这个电影没有短评"+'\n')
最后
# 关闭文件,否则容易写入不全 f.close()
遇到的问题:
刚开始写入文件时会报错,错误提示是不能写入,后来发现文件编码不支持ascii,转换了一下编码 .encode('utf-8') 就正常了