Python学习从0开始——Kaggle实践可视化001

一、创建和加载数据集
二、数据预处理
- 1.按name检查，处理重复值（查重）
- 2.查看存在缺失值的列并处理（缺失值处理）
- - 2.1按行或列查看
  - 2.2无法推测的数据
  - 2.3可由其它列推测的数据
- 3.拆列，获取元数据

使用数据集：“Top Ranked Anime Dataset 2024”，文件名称是：toprankedanime.csv

一、创建和加载数据集

登录kaggle选择创建新笔记本：

然后删掉默认代码，加载数据集：

import numpy as np 
import pandas as pd
# 路径
anime_file_path = '/kaggle/input/top-ranked-anime-dataset/toprankedanime.csv'
# 读取
anime_data = pd.read_csv(anime_file_path) 
# 总览数据，查看基本信息
#anime_data.describe()
#anime_data.head
#anime_data.columns
#anime_data.head(3)

name	type	episodes	status	aired	premiered	broadcast	producers	licensors	studios	source	genres	duration	rating	score	ranked	popularity	favorites
Sousou no Frieren	TV	28	Finished Airing	Sep 29, 2023 to Mar 22, 2024	Fall 2023	Fridays at 23:00 (JST)	[‘Aniplex’, ‘Dentsu’, ……]	[‘add some’]	Madhouse	Manga	[‘Adventure’, ‘Drama’, ‘Fantasy’]	24 min. per ep.	PG-13 - Teens 13 or older	9.36	#1	#259	43,524
Steins;Gate	TV	24	Finished Airing	Apr 6, 2011 to Sep 14, 2011	Spring 2011	Wednesdays at 02:05 (JST)	[‘Frontier Works’, ‘Media Factory’……]	[‘Funimation’]	White Fox		[‘Drama’, ‘Sci-Fi’, ‘Suspense’]	24 min. per ep.	PG-13 - Teens 13 or older	9.07	#3	#13	189,803
Fullmetal Alchemist: Brotherhood	TV	64	Finished Airing	Apr 5, 2009 to Jul 4, 2010	Spring 2009	Sundays at 17:00 (JST)	[‘Aniplex’, ‘Square Enix’……]	[‘Funimation’, ‘Aniplex of America’]	Bones	Manga	[‘Action’, ‘Adventure’, ‘Drama’, ‘Fantasy’]	24 min. per ep.	R - 17+ (violence & profanity)	9.09	#2	#3	226,283

columns：Index([‘name’, ‘type’, ‘episodes’, ‘status’, ‘aired’, ‘premiered’, ‘broadcast’,
‘producers’, ‘licensors’, ‘studios’, ‘source’, ‘genres’, ‘duration’,
‘rating’, ‘score’, ‘ranked’, ‘popularity’, ‘favorites’],
dtype=‘object’)
#动漫名称：动漫的标题。
#类型：动漫分类（例如，电视、电影、OVA）。
#集数：集数。
#状态：广播状态（例如，“已完成播出”）。
#在电视台或在线平台上正式播出的时间
#播出日期：原播出日期。
#首映：首映的季节和年份。
#广播：每周广播时间。
#生产者：参与生产的公司。
#许可方：负责在不同地区授权动漫的公司。
#工作室：为该系列制作动画的工作室。
#来源：原始资料（例如，漫画、轻小说）。
#类型：描述节目的类别（例如，动作、剧情）。
#持续时间：每集的长度。
#等级：观众适宜性
#分数： MyAnimeList 用户给出的平均评分。
#排名：在MyAnimeList上排名。
#人气：在MyAnimeList上的人气排名。
#收藏夹：用户收藏的次数。

二、数据预处理

1.按name检查，处理重复值（查重）

使用Pandas库的duplicated方法。这个方法会返回一个布尔序列，指示哪些行在指定列（或所有列）中是重复的。

# 首先按name检查是否有重复值duplicated_names = anime_data['name'].duplicated()  
# 查看所有重复的名称  
duplicate_names_list = anime_data[duplicated_names]['name'].unique().tolist()   
# 输出重复的名称（如果有的话）  
if len(duplicate_names_list) > 0:  print("存在重复的名称:")  print(duplicate_names_list)  
else:  print("name列中没有重复值。")

如果有重复行，那么需要额外的处理，以下是一些常见的处理重复值的方法：

删除重复行：
如果你确定重复的行是多余的，并且你想要保留唯一的记录，你可以删除这些重复的行。在Pandas中，你可以使用drop_duplicates方法来实现这一点。

anime_data = anime_data.drop_duplicates(subset='name', keep='first')  # keep='first'保留第一次出现的行
# 或者
# anime_data = anime_data.drop_duplicates(subset='name', keep='last')  # keep='last'保留最后一次出现的行
# 或者
# anime_data = anime_data.drop_duplicates(subset='name', keep=False)  # keep=False删除所有重复的行

合并重复行：
如果重复的行包含了一些不同的信息，你可能想要合并这些行。这通常涉及到聚合操作，例如计算重复行的某个字段的平均值、总和等。
```
# 假设你有一个想要聚合的字段'score'
anime_data_agg = anime_data.groupby('name').agg({'score': 'mean'}).reset_index()  # 计算每个动漫的平均评分
```
标记重复行：
如果你想要保留重复的行，但同时想要知道哪些行是重复的，你可以使用duplicated方法（如之前所示）来创建一个新的布尔列来标记这些行。
```
anime_data['is_duplicate'] = anime_data.duplicated(subset='name')
```
手动处理：
在某些情况下，你可能需要手动检查重复的行，并根据具体情况决定如何处理它们。例如，你可能需要查看除了’name’列之外的其他列来确定是否应该合并或删除这些行。
错误检查：
重复的值有时可能表示数据输入或处理过程中的错误。在这种情况下，你可能需要回到数据源，检查为什么会有重复的行，并修正错误。
保持备份：
在对数据进行任何修改之前，最好先备份原始数据。这样，如果后续需要回到原始状态或重新处理数据，你可以很容易地做到这一点。

根据你的具体需求和数据集的特性，选择最适合你的方法来处理重复值。

2.查看存在缺失值的列并处理（缺失值处理）

要查看Pandas DataFrame中哪些列存在缺失值（通常表示为NaN），可以使用isnull()方法结合any()或sum()方法。

2.1按行或列查看

#按列查看
# 查看哪些列包含缺失值  
columns_with_missing = anime_data.columns[anime_data.isnull().any()].tolist()  
print("包含缺失值的列：", columns_with_missing)
# 包含缺失值的列： ['premiered', 'broadcast', 'source', 'rating']即首映，播放，来源，等级# 查看每一列中缺失值的数量  
missing_counts = anime_data.isnull().sum()  
#print("每一列中缺失值的数量：")  
#print(missing_counts)# 只查看包含缺失值的列及其缺失值的数量  
columns_with_missing_and_counts = anime_data.columns[anime_data.isnull().any()].tolist()  
missing_counts_filtered = anime_data[columns_with_missing_and_counts].isnull().sum()  
print("包含缺失值的列及其缺失值的数量：")  
print(missing_counts_filtered)
#包含缺失值的列及其缺失值的数量：
#premiered    988
#broadcast    988
#source       658
#rating         1
#dtype: int64

# 按行查看
# 使用 any(axis=1) 来检查每一行是否至少有一个缺失值  
rows_with_missing = anime_data[anime_data.isnull().any(axis=1)]  # 显示这些行  
#print(rows_with_missing)# 只显示该行的缺失列数据
#print(rows_with_missing.name,rows_with_missing[columns_with_missing])# 打印缺失列
#for index, row in rows_with_missing.iterrows():  
#    print(f"在索引 {index} 的行中，缺失值的列有：")  
#    for column in row.index[row.isnull()]:  
#        print(column)  
#    print("\n")  # 打印一个空行分隔不同行的输出

2.2无法推测的数据

#处理缺失数据#不修改原数据集，创建一个新的数据集修改
anime_data_filled = anime_data.copy()  #处理rating
#找到rating为null的数据
#ratingNull=rows_with_missing[rows_with_missing['rating'].isnull()]
#selected_columns = ['name', 'rating', 'score']  
#print(ratingNull[selected_columns])
#输出：
#                              name rating  score
#1762  Xue Ying Ling Zhu 2nd Season    NaN   7.48
#rating列的缺失值被替换为'unknown'
anime_data_filled['rating'].fillna('unknown')#处理其他列
#source和broadcast列的缺失值被替换为'unknown'
anime_data_filled['source'].fillna('unknown')
anime_data_filled['broadcast'].fillna('unknown')

2.3可由其它列推测的数据

如：aired值为Apr 1, 2007 to Sep 30, 2007，那么premiered就是Spring 2007

#处理premiered首映列控制问题
#premired列可以由aired列推出
#不推荐将premired值直接设为aired值，因为之后要用到日期分析
#anime_data_filled['premiered'] = anime_data_filled['premiered'].combine_first(anime_data_filled['aired'])  # 推荐
import re  
from datetime import datetime  def infer_premiered_season(aired_date):  # 首先尝试匹配包含开始和结束日期的格式:Oct 4, 2006 to Jun 27, 2007match = re.match(r'(\w+ \d+, \d+) to (\w+ \d+, \d+)', aired_date)  if match:  start_date_str, end_date_str = match.groups()  # 使用开始日期来确定季度  start_date = datetime.strptime(start_date_str, '%b %d, %Y')  season = get_season(start_date.month)  return f"{season} {start_date.year}"  # 如果没有匹配到开始和结束日期，尝试匹配单独的日期:Sep 17, 2016  match = re.match(r'(\w+ \d+, \d+)', aired_date)  if match:  date_str = match.group(1)  date_sigle = datetime.strptime(date_str, '%b %d, %Y') season = get_season(date_sigle.month)  return f"{season} {date_sigle.year}" # 如果没有匹配到开始和结束日期，尝试匹配单独的日期:17-Jan-20match = re.match(r'(\d+)-(\w+)-(\d+)', aired_date)  if match:  year_str, month_str, day_str = match.groups()  month_num = get_month_number(month_str)  if month_num is not None:  year = int(year_str)  if len(year_str) == 2:  # 如果是两位数的年份，可能需要一些逻辑来确定实际年份（例如，基于当前年份）  year += 2000 if int(year_str) > 20 else 1900  # 简化的年份推断，可能需要调整  season = get_season(month_num)  return f"{season} {year}" # 如果没有匹配到开始和结束日期，尝试匹配单独的日期:May 2003match = re.search(r'(\w{3})\s(\d{4})', aired_date)  if match:  month_str, year_str = match.groups()  month_num = get_month_number(month_str)  year = int(year_str)  if month_num is not None:  return f"{get_season(month_num)} {year}" # 如果没有匹配到任何日期格式，返回aired_date值或NaN，比如传来的值为2003return pd.NA    def get_month_number(month_str):  # 将月份字符串转换为数字（例如，"Jan" -> 1）  month_dict = {  'Jan': 1, 'Feb': 2, 'Mar': 3, 'Apr': 4,  'May': 5, 'Jun': 6, 'Jul': 7, 'Aug': 8,  'Sep': 9, 'Oct': 10, 'Nov': 11, 'Dec': 12  }  return month_dict.get(month_str)  def get_season(month):  # 根据月份返回季节（Spring, Summer, Fall, Winter）  if 3 <= month <= 5:  return 'Spring'  elif 6 <= month <= 8:  return 'Summer'  elif 9 <= month <= 11:  return 'Fall'  else:  return 'Winter'  # 使用自定义函数填充premiered列的缺失值  
anime_data_filled['premiered'] = anime_data_filled['premiered'].fillna(anime_data_filled['aired'].apply(infer_premiered_season))  
print(anime_data_filled[anime_data_filled['premiered'].isnull()])
#此时输出如下，只有年份的数据，获取不到季节
#                                                  name        type     episodes  \
#1234  Saint Seiya: Meiou Hades Juuni Kyuu-hen - Yomi...     Special        2   
#1265  Meitantei Conan Movie 10: Tantei-tachi no Requ...  TV Special        1   
#1359  Meitantei Conan Movie 09: Suihei Senjou no Str...  TV Special        1   
#1690  Meitantei Conan OVA 04: Conan to Kid to Crysta...         OVA        1   
#1944                           Junjou Romantica Special     Special        1   
#               status aired premiered broadcast            producers  \
#1234  Finished Airing  2003      <NA>       NaN         ['add some']   
#1265  Finished Airing  2006      <NA>       NaN         ['add some']   
#1359  Finished Airing  2005      <NA>       NaN         ['add some']   
#1690  Finished Airing  2004      <NA>       NaN         ['add some']   
#1944  Finished Airing  2008      <NA>       NaN  ['Kadokawa Shoten'] #删除还是缺失值的数据
anime_data_filled = anime_data_filled.dropna(subset=['premiered'])
print(anime_data_filled[anime_data_filled['premiered'].isnull()])
#输出
#Empty DataFrame
#Columns: [name, type, episodes, status, aired, premiered, broadcast, producers, licensors, studios, source, genres, duration, rating, score, ranked, popularity, favorites]
#Index: []

3.拆列，获取元数据

上一部分对premiered的处理是为了统一成“季度年份”的格式，然后将其拆分成年列和季度列，同时四个季度可以赋予不同的数值：

#继续处理premiered  
# 定义一个函数将季节转换为数字  
def season_to_number(season):  season_dict = {  'Spring': 1,  'Summer': 2,  'Fall': 3,  'Winter': 4  }  return season_dict.get(season, None)  # 使用str.split方法拆分'premiered'列，并扩展结果到新的列  
# 注意：我们使用expand=True，分割后的两部分将作为两列（假设分割成功）添加到新的DataFrame中  
season_year_df = anime_data_filled['premiered'].str.split(n=1, expand=True)  # 给新列重命名  
season_year_df.columns = ['season', 'year']    
# 将年份列转换为整数  
season_year_df['year'] = season_year_df['year'].astype(int)    
# 将拆分后的DataFrame添加到原始DataFrame中  
anime_data_filled = pd.concat([anime_data_filled, season_year_df], axis=1)  
# 创建一个新的'quarter'列，其中包含季节的数字表示  
anime_data_filled['quarter'] = anime_data_filled['season'].apply(season_to_number)  # 显示结果  
print(anime_data_filled.head(3))

name	……	premiered	……	year	quarter
Sousou no Frieren TV	……	Fall 2023	……	2023	3
Steins;Gate TV	……	Spring 2011	……	2011	1
Fullmetal Alchemist: Brotherhood TV	……	Spring 2009	……	2009	1