以下是完成上述任务的Python代码,可在Jupyter Notebook中运行。此代码包含了使用sklearn
中的逻辑回归模型进行情感分析,以及按日期统计积极和消极评论数量的功能。
import pandas as pd
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score# 假设数据已经完成预处理,且包含 'comment'(评论内容)、'sentiment'(情感标签,0或1)和 'date'(评论日期)列
# 加载数据
data = pd.read_csv('preprocessed_comments.csv')# 划分训练集和测试集
X = data['comment']
y = data['sentiment']
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)# 使用TF-IDF进行文本向量化
vectorizer = TfidfVectorizer()
X_train_vec = vectorizer.fit_transform(X_train)
X_test_vec = vectorizer.transform(X_test)# 训练逻辑回归模型
model = LogisticRegression()
model.fit(X_train_vec, y_train)# 在测试集上进行预测
y_pred = model.predict(X_test_vec)# 计算模型准确率
accuracy = accuracy_score(y_test, y_pred)
print(f"模型准确率: {accuracy}")# 对所有评论进行情感预测
all_comments_vec = vectorizer.transform(data['comment'])
data['predicted_sentiment'] = model.predict(all_comments_vec)# 按日期归类,统计每天积极和消极评论的数量
daily_stats = data.groupby('date')['predicted_sentiment'].value_counts().unstack(fill_value=0)
daily_stats.columns = ['negative_count', 'positive_count']
print(daily_stats)# 保存结果,可用于后续的LSTM预测分析
data.to_csv('sentiment_analysis_results.csv', index=False)
代码说明:
- 数据加载:从CSV文件中加载已经完成预处理的评论数据。
- 数据划分:将数据划分为训练集和测试集,比例为8:2。
- 文本向量化:使用TF-IDF将文本转换为数值特征。
- 模型训练:使用逻辑回归模型进行训练。
- 模型评估:在测试集上评估模型的准确率。
- 情感预测:对所有评论进行情感预测,并将预测结果添加到原始数据中。
- 统计分析:按日期对评论进行归类,统计每天积极和消极评论的数量。
- 结果保存:将情感分析结果保存为CSV文件,以便后续进行LSTM预测分析。
你需要把代码中的preprocessed_comments.csv
替换成实际的预处理后的数据文件路径。