Pandas提供了强大的日期和时间处理功能,这对于时间序列分析至关重要。本教程将介绍Pandas中处理日期时间的主要方法。包括:
- 日期时间数据的创建和转换
- 日期时间属性的提取
- 时间差计算和日期运算
- 重采样和频率转换
- 时区处理
- 基于日期时间的索引操作
Pandas中的日期时间类型
时间戳(timestamp)
:表示的是一个特定的时刻,比如 2008 年 8 月 8 日下午午 8:00。时间周期(period)
:引用特定开始和结束点之间的时间长度;例如,2015 年。时间段通常引用时间间隔的特殊情况,其中每个间隔具有统一的长度并且不重叠(例如,构成每天的 24 小时长的时间段)。时间增量或间隔(timedelta)
:引用确切的时间长度(例如,间隔为 22.56 秒)。
1. 创建日期时间数据
1.1 使用to_datetime()
函数
import pandas as pd# 将字符串转换为datetime
date_str = ['2023-01-01', '2023-01-02', '2023-01-03']
dates = pd.to_datetime(date_str)
print(dates)
1.2 创建日期范围
# 创建日期范围
date_range = pd.date_range('2023-01-01', periods=5, freq='D')
print(date_range)# 带有时区的日期范围
date_range_tz = pd.date_range('2023-01-01', periods=5, freq='D', tz='Asia/Shanghai')
print(date_range_tz)
2. 访问日期时间属性
# 创建示例DataFrame
df = pd.DataFrame({'date': pd.date_range('2023-01-01', periods=5, freq='D'),'value': [10, 20, 30, 40, 50]
})# 提取年、月、日等属性
df['year'] = df['date'].dt.year
df['month'] = df['date'].dt.month
df['day'] = df['date'].dt.day
df['day_of_week'] = df['date'].dt.dayofweek # 周一=0, 周日=6
df['day_name'] = df['date'].dt.day_name()
df['is_weekend'] = df['date'].dt.dayofweek >= 5print(df)
3. 日期时间运算
3.1 时间差计算
# 计算时间差
df['date_diff'] = df['date'] - df['date'].shift(1)
print(df[['date', 'date_diff']])# 使用Timedelta进行时间运算
df['date_plus_2days'] = df['date'] + pd.Timedelta(days=2)
df['date_plus_3hours'] = df['date'] + pd.Timedelta(hours=3)
print(df)
3.2 日期比较
# 日期比较
start_date = pd.to_datetime('2023-01-02')
df['after_start_date'] = df['date'] > start_date
print(df[['date', 'after_start_date']])
4. 重采样和时间频率转换
# 创建示例时间序列数据
ts = pd.Series([1, 2, 3, 4, 5],index=pd.date_range('2023-01-01', periods=5, freq='D')
)# 降采样(低频) - 计算每周平均值
weekly = ts.resample('W').mean()
print("Weekly resample:\n", weekly)# 升采样(高频) - 填充缺失值
hourly = ts.resample('H').ffill()
print("Hourly resample (forward fill):\n", hourly.head(10)) # 只显示前10行
5. 时区处理
# 本地化时区
ts = pd.Series([1, 2, 3],index=pd.date_range('2023-01-01', periods=3, freq='D')
)
ts = ts.tz_localize('UTC')
print("UTC timezone:\n", ts)# 时区转换
ts_shanghai = ts.tz_convert('Asia/Shanghai')
print("Shanghai timezone:\n", ts_shanghai)
6. 日期时间索引操作
# 设置日期为索引
df.set_index('date', inplace=True)# 按年份切片
print(df.loc['2023'])# 按月份切片
print(df.loc['2023-01'])# 按日期范围切片
print(df.loc['2023-01-02':'2023-01-04'])
7. 实际应用示例
# 读取包含日期时间的数据
# 假设有一个CSV文件包含日期列
# df = pd.read_csv('data.csv', parse_dates=['date_column'])# 处理缺失日期
full_date_range = pd.date_range(start=df.index.min(), end=df.index.max(), freq='D')
df = df.reindex(full_date_range)# 填充缺失值
df['value'] = df['value'].fillna(method='ffill') # 前向填充# 计算滚动平均值
df['7_day_avg'] = df['value'].rolling(window='7D').mean()print(df.head(10))
8. 高级技巧
8.1 自定义工作日历
from pandas.tseries.offsets import CustomBusinessDay
from pandas.tseries.holiday import USFederalHolidayCalendar# 使用美国联邦假日日历
us_bd = CustomBusinessDay(calendar=USFederalHolidayCalendar())
date_range = pd.date_range('2023-01-01', periods=10, freq=us_bd)
print("US business days only:\n", date_range)
8.2 季度数据处理
# 创建季度数据
quarterly = pd.Series([100, 200, 300, 400],index=pd.date_range('2023-01-01', periods=4, freq='Q')
)# 季度开始和结束日期
print("Quarter start:\n", quarterly.index)
print("Quarter end:\n", quarterly.index + pd.offsets.QuarterEnd())