深度解析Pandas聚合操作:案例演示、高级应用与实战技巧【第74篇—Pandas聚合】

深度解析Pandas聚合操作:案例演示、高级应用与实战技巧

在数据分析和处理领域,Pandas一直是Python中最受欢迎的库之一。它提供了丰富的数据结构和强大的功能,使得数据清洗、转换和分析变得更加高效。其中,Pandas的聚合操作在数据分析中扮演着至关重要的角色,它使得我们能够对数据进行灵活的汇总和统计。本文将深入探讨Pandas中的聚合操作,并通过实际案例演示其在数据分析中的应用。

image-20240212001200827

1. 背景介绍

聚合操作是指对数据进行分组并计算汇总统计信息的过程。Pandas中的groupby方法是实现聚合操作的核心工具。在开始之前,让我们先了解一下groupby的基本用法。

import pandas as pd# 创建示例数据
data = {'Category': ['A', 'B', 'A', 'B', 'A', 'B'],'Value': [10, 20, 15, 25, 12, 18]}df = pd.DataFrame(data)# 使用groupby对数据进行分组
grouped = df.groupby('Category')# 计算每组的平均值
result = grouped.mean()print(result)

在上述代码中,我们首先创建了一个包含类别和值的DataFrame。然后,使用groupby方法按照类别进行分组,最后计算每个类别的平均值。接下来,我们将通过一个实际案例进一步探讨聚合操作的应用。

image-20240212001040926

2. 实际案例:销售数据分析

假设我们有一份包含销售数据的DataFrame,其中包括产品类别、销售额和日期等信息。我们希望通过Pandas聚合操作,分析每个产品类别的月度总销售额。

# 创建示例销售数据
sales_data = {'Category': ['Electronics', 'Clothing', 'Electronics', 'Clothing', 'Electronics'],'Sales': [1000, 500, 1200, 600, 800],'Date': ['2023-01-05', '2023-01-10', '2023-02-15', '2023-02-20', '2023-03-01']}sales_df = pd.DataFrame(sales_data)# 将日期转换为日期类型
sales_df['Date'] = pd.to_datetime(sales_df['Date'])# 按照类别和月份进行分组
grouped_sales = sales_df.groupby(['Category', sales_df['Date'].dt.month])# 计算每组的总销售额
monthly_sales = grouped_sales['Sales'].sum().reset_index()print(monthly_sales)

在这个案例中,我们首先将日期转换为日期类型以便进行时间相关的操作。然后,通过groupby方法按照类别和月份进行分组,最后计算每组的总销售额。通过这样的聚合操作,我们能够清晰地了解不同产品类别在每个月份的销售表现。

image-20240212001055850

3. 代码解析

在上述案例中,我们使用了groupby方法对数据进行分组,然后通过sum方法计算了每组的总销售额。在代码解析中,需要注意以下几点:

  • groupby方法的参数可以是单个列名,也可以是多个列名的列表。这里我们使用了['Category', sales_df['Date'].dt.month],以实现按照类别和月份的分组。

  • reset_index()用于将分组后的结果重新变为DataFrame,方便后续的分析和可视化操作。

  • 在实际数据分析中,除了sum之外,Pandas还提供了许多其他聚合函数,如meanmedianminmax等,以满足不同的统计需求。

通过以上实际案例和代码解析,我们深入理解了Pandas中聚合操作的应用。这些操作为数据分析提供了强大的工具,使得我们能够从大规模数据中提取有意义的信息,为业务决策提供支持。希望本文能够帮助读者更好地掌握Pandas中聚合操作的技巧,并在实际工作中得心应手。

4. 进阶应用:多重聚合和自定义函数

除了基本的聚合操作外,Pandas还支持多重聚合和自定义聚合函数,以满足更复杂的分析需求。我们将通过一个进阶案例来演示这些高级功能。

假设我们不仅关注每个产品类别的总销售额,还想了解每个类别中销售额最高的日期和对应的销售额。

# 定义自定义聚合函数,返回销售额最高的日期和销售额
def top_sales_date(series):max_index = series.idxmax()return pd.Series({'Top_Sales_Date': sales_df.loc[max_index, 'Date'],'Top_Sales_Amount': series.max()})# 多重聚合,同时计算总销售额和最高销售额相关信息
advanced_result = grouped_sales['Sales'].agg(['sum', top_sales_date]).reset_index()print(advanced_result)

在这个案例中,我们首先定义了一个自定义聚合函数top_sales_date,该函数接收一个Series对象(每个分组的销售额数据),并返回一个包含最高销售额日期和销售额的Series。然后,通过agg方法同时计算总销售额和自定义聚合函数的结果。

5. 性能优化:应用多进程并行计算

对于大规模数据集,聚合操作可能成为性能瓶颈。为了提高计算效率,Pandas提供了numba库,允许我们使用多进程并行计算。以下是一个简单示例:

import numba
from numba import jit, prange# 使用numba库加速自定义聚合函数
@jit(nopython=True, parallel=True)
def top_sales_date_numba(series):max_index = series.argmax()return pd.Series({'Top_Sales_Date': sales_df.loc[max_index, 'Date'],'Top_Sales_Amount': series.max()})# 多进程并行计算
advanced_result_parallel = grouped_sales['Sales'].agg(['sum', top_sales_date_numba]).reset_index()print(advanced_result_parallel)

通过使用numba库中的jit装饰器和parallel=True参数,我们可以加速自定义聚合函数的计算过程,特别是在大规模数据集上。这种性能优化对于提高数据分析的效率尤为重要。

7. 可视化分析:使用Matplotlib和Seaborn展示聚合结果

数据的可视化是数据分析不可或缺的一环。我们可以使用Matplotlib和Seaborn等库将聚合结果以图表形式呈现,更直观地展示分析成果。

import matplotlib.pyplot as plt
import seaborn as sns# 设置图形风格
sns.set(style="whitegrid")# 绘制每个产品类别的月度总销售额折线图
plt.figure(figsize=(10, 6))
sns.lineplot(x='Date', y='Sales', hue='Category', data=sales_df)
plt.title('Monthly Total Sales by Category')
plt.xlabel('Date')
plt.ylabel('Total Sales')
plt.show()

这段代码使用Seaborn绘制了每个产品类别的月度总销售额折线图。通过这样的可视化分析,我们能够更清晰地观察销售趋势,识别销售高峰和低谷,从而更好地理解业务的运营情况。

8. 扩展思考:其他聚合场景

Pandas的聚合操作不仅局限于数值型数据,还可以应用于字符串、日期等类型的数据。在实际项目中,我们可能会遇到更多复杂的聚合场景,例如多层次的分组、滑动窗口的聚合等。对于这些情况,Pandas提供了灵活的API,可以根据具体需求进行定制化操作。

10. 实战案例:分析销售趋势与季节性变化

在进一步的实战中,我们将结合前文案例,通过分析销售趋势和季节性变化,展示聚合操作的实际应用。我们将使用Pandas和Seaborn来完成这项任务。

import matplotlib.pyplot as plt
import seaborn as sns# 创建示例销售数据
sales_data = {'Category': ['Electronics', 'Clothing', 'Electronics', 'Clothing', 'Electronics'],'Sales': [1000, 500, 1200, 600, 800],'Date': ['2023-01-05', '2023-01-10', '2023-02-15', '2023-02-20', '2023-03-01']}sales_df = pd.DataFrame(sales_data)# 将日期转换为日期类型
sales_df['Date'] = pd.to_datetime(sales_df['Date'])# 提取月份和年份信息
sales_df['Month'] = sales_df['Date'].dt.month
sales_df['Year'] = sales_df['Date'].dt.year# 按照年份和月份进行分组
grouped_sales_monthly = sales_df.groupby(['Year', 'Month'])# 计算每月的总销售额
monthly_sales_trend = grouped_sales_monthly['Sales'].sum().reset_index()# 绘制销售趋势图
plt.figure(figsize=(12, 6))
sns.lineplot(x='Month', y='Sales', hue='Year', data=monthly_sales_trend, marker='o')
plt.title('Monthly Sales Trend Over Years')
plt.xlabel('Month')
plt.ylabel('Total Sales')
plt.show()

在这个案例中,我们首先从日期中提取了月份和年份信息,并按照这两个维度进行分组。然后,通过Seaborn绘制了每月的总销售额趋势图,以观察销售在不同月份的表现,进一步揭示可能存在的季节性变化。

image-20240212001136906

11. 拓展:处理缺失数据和异常值

在实际数据分析中,我们常常会面临缺失数据和异常值的情况。Pandas提供了一系列方法来处理这些问题。以下是一个简单的拓展,演示如何在聚合操作中处理缺失数据和异常值。

# 引入numpy库用于生成随机数
import numpy as np# 随机生成含有缺失数据和异常值的销售数据
np.random.seed(42)
sales_df['Sales'] = np.random.choice([1000, 1200, np.nan, 1500], size=len(sales_df))# 使用聚合操作计算每个类别的平均销售额(处理缺失值)
result_with_missing = sales_df.groupby('Category')['Sales'].mean()# 使用聚合操作计算每个类别的销售额总和(忽略缺失值)
result_without_missing = sales_df.groupby('Category')['Sales'].sum()print("Average Sales with Missing Values:\n", result_with_missing)
print("\nTotal Sales Without Missing Values:\n", result_without_missing)

在这个拓展中,我们故意将销售数据中的一部分值设置为缺失值(NaN),然后使用meansum方法分别计算每个类别的平均销售额,演示了处理缺失数据的方式。

总结

在本文中,我们深入研究了Pandas中的聚合操作,以实际案例和代码解析为主线,展示了这一强大工具在数据分析中的广泛应用。以下是本文的主要总结:

  1. 基础知识回顾: 我们首先回顾了Pandas中的基本聚合操作,介绍了groupby方法的基本用法,以及如何使用各种聚合函数进行数据分析。

  2. 实际案例演示: 通过一个销售数据的案例,我们展示了如何使用Pandas进行实际的数据聚合操作。案例涉及按照类别和月份进行分组,计算总销售额等,以便更好地理解数据。

  3. 进阶应用: 我们探讨了多重聚合和自定义聚合函数的高级应用,展示了如何通过这些功能更灵活地分析数据。同时,使用numba库进行性能优化,提高大规模数据处理的效率。

  4. 可视化分析: 通过Matplotlib和Seaborn,我们展示了如何将聚合结果可视化,以更直观、清晰地呈现数据分析成果。具体示例包括销售趋势的折线图,有助于发现数据中的模式和趋势。

  5. 实战案例: 通过分析销售趋势和季节性变化,我们进一步展示了聚合操作在实际业务场景中的应用。同时,强调了提取时间信息、可视化数据对深入理解趋势的重要性。

  6. 拓展思考: 我们提出了处理缺失数据和异常值的问题,并演示了在聚合操作中如何应对这些情况。这对于确保数据质量和分析结果的准确性至关重要。

总体而言,本文通过理论知识、实际案例和拓展应用,为读者提供了全面的Pandas聚合操作指南。这些技术和技巧在数据分析的实践中能够发挥关键作用,希望读者能够充分掌握这些工具,更自信地应用于实际工作中。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/679289.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

数据库基础学习笔记

一.基础概念 数据库、数据库管理系统、SQL 主流数据库: mysql的安装:略 mysql图形化界面的安装:略 二.数据模型 1). 关系型数据库(RDBMS) 概念:建立在关系模型基础上,由多张相互连接的二维表…

华为 huawei 交换机 接口 MAC 地址学习限制接入用户数量 配置示例

目录 组网需求: 配置思路: 操作步骤: 配置文件: 组网需求: 如 图 2-14 所示,用户网络 1 和用户网络 2 通过 LSW 与 Switch 相连, Switch 连接 LSW 的接口为GE0/0/1 。用户网络 1 和用户网络 2 分别属于 VLAN10 和 V…

导数的定义【高数笔记】

【含义】可以抽象成,在一个极其短的时间段内,温度差 / 时间差 【本质】瞬间的平均值 【分类】可以分成几类?每类需要注意的点 【导数存在的必要条件】 【导数与极限的关系】可以参考导数的定义的式子 【题型解法】分几个题型?每个…

基于微信小程序的校园故障维修管理系统的研究与实现

博主介绍:✌程序员徐师兄、7年大厂程序员经历。全网粉丝12w、csdn博客专家、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和毕业项目实战✌ 🍅文末获取源码联系🍅 👇🏻 精彩专栏推荐订阅👇…

电路设计(16)——纪念馆游客进出自动计数显示器proteus仿真

1.设计要求 设计、制作一个纪念馆游客进出自动计数显示器。 某县,有一个免费参观的“陶渊明故里纪念馆”,游客进出分道而行,如同地铁有确保单向通行的措施。在入口与出口处分别设有红外检测、声响、累加计数器装置,当游人进&#…

LeetCode 144 二叉树的前序遍历

大家新年快乐,long年大吉 今天的题很简单,前序用栈就行。 电脑没拿,用我妈的pad艰难敲代码,敲字 知识点随便写点吧,这里基础点挺多,以后补充下 栈:先进后出,数据结构用stack&…

【北邮鲁鹏老师计算机视觉课程笔记】04 fitting 拟合

【北邮鲁鹏老师计算机视觉课程笔记】04 fitting 拟合 1 拟合的任务 如何从边缘找出真正的线? 存在问题 ①噪声 ②外点、离群点 ③缺失数据 2 最小二乘 存在的问题 3 全最小二乘 度量的是点到直线的距离而不是点在y方向到直线的距离 提示:点到直线的…

Educational Codeforces Round 135 (Rated for Div. 2)C. Digital Logarithm(思维)

文章目录 题目链接题意题解代码 题目链接 C. Digital Logarithm 题意 给两个长度位 n n n的数组 a a a、 b b b,一个操作 f f f 定义操作 f f f为, a [ i ] f ( a [ i ] ) a [ i ] a[i]f(a[i])a[i] a[i]f(a[i])a[i]的位数 求最少多少次操作可以使 …

操作系统基础:IO核心子系统【下】

🌈个人主页:godspeed_lucip 🔥 系列专栏:OS从基础到进阶 🏆🏆本文完整PDF源文件请翻阅至文章底部下载。🏆🏆 ⚕️1 I/O核心子系统——概述🔱1.1 核心子系统要完成的功能…

视觉SLAM十四讲学习笔记(二)三维空间刚体

哔哩哔哩课程连接:视觉SLAM十四讲ch3_哔哩哔哩_bilibili​ 目录 一、旋转矩阵 1 点、向量、坐标系 2 坐标系间的欧氏变换 3 变换矩阵与齐次坐标 二、实践:Eigen(1) 运行报错记录与解决 三、旋转向量和欧拉角 1 旋转向量 …

备份还原实际操作

备份还原实际操作 前言 根据达梦文档整理。 一、工具介绍 工具联机/脱机工具应用场景disql联机1️⃣数据库备份2️⃣归档备份3️⃣表空间备份与还原4️⃣表备份与还原dmrman脱机1️⃣数据库备份、还原和恢复2️⃣脱机还原表空间3️⃣归档的备份、还原和修复manager联机对应…

协议-TCP协议-基础概念04-可能发生丢包的位置-linux配置项梳理(TCP连接的建立和断开、收发包过程)

可能发生丢包的位置-linux配置项梳理(TCP连接的建立和断开、收发包过程)-SYN Flood攻击和防御原理 参考来源: 极客时间-Linux性能优化实战 极客时间-Linux内核技术实战课 到底是哪里发生了丢包呢? Linux 的网络收发流程 从图中…

【java】笔记10:类与对象——本章练习

题目1: 代码如下: import java.util.Scanner; public class Input{public static void main(String[]args){Circle cnew Circle();PassObject yuannew PassObject();System.out.println("r""\t""times");yuan.printAreas…

【Effective Objective - C 2.0】——读书笔记(三)

文章目录 十五、用前缀避免命名空间冲突十六、提供全能初始化方法十七、实现description方法十八、尽量使用不可变对象十九、使用清晰而协调的命名方式二十、为私有方法名加前缀二十一、理解Objective-C错误模型二十二、理解NSCopying协议 十五、用前缀避免命名空间冲突 OC语言…

KingSCADA实现按钮点击效果

哈喽,你好啊,我是雷工! 在做SCADA项目的时候,按钮是不可缺少的功能,但软件自带的按钮太丑,已经无法满足现如今客户对界面美观度的要求。 这时候就需要UI小姐姐设计美观大气的SCADA界面,但UI设计…

蓝牙BLE学习

1. 简介 1.1 蓝牙发展历程 蓝牙,直接来自于一位国王的名字--King Harald ‘Bluetooth Gromsson。这位国王因两件事留名于史,其一是在公园958年统一了丹麦和挪威,其二是在其死后,其牙齿呈现出暗蓝色的颜色,因而得名蓝牙…

第74讲Breadcrumb 面包屑实现

Breadcrumb 面包屑实现 为了实现二级路由,我们搞成搞个子路由,对于二级菜单 const routes [{path: /,name: 首页,component: () > import(../views/layout),redirect:/home,children:[{path: /home,name: 首页,component: () > import(../views…

《UE5_C++多人TPS完整教程》学习笔记10 ——《P11 设置加入游戏会话(Setup for Joining Sessions)》

本文为B站系列教学视频 《UE5_C多人TPS完整教程》 —— 《P11 设置加入游戏会话(Setup for Joining Sessions)》 的学习笔记,该系列教学视频为 Udemy 课程 《Unreal Engine 5 C Multiplayer Shooter》 的中文字幕翻译版,UP主&…

JVM-类加载器 双亲委派机制

申明:文章内容是本人学习极客时间课程所写,文字和图片基本来源于课程资料,在某些地方会插入一点自己的理解,未用于商业用途,侵删。 什么是JVM JVM是Java Virtual Machine(Java虚拟机)的缩写&a…

c语言数据类型定义错误导致的数据溢出或者死循环

数据溢出问题 #include <stdio.h>/* 数据溢出 */int main() {char i; // 数据表示范围[-128,127] 0xf0 ~ 0x7ffor(i0;i<130;i) // {printf("%d ",i);}return 0; }/* 编译运行上面的程序&#xff0c;你会发现程序陷入了死循环&#xff0c;一直在不断…