2024年第四届长三角数学建模竞赛B题详细解题思路
赛道B：人工智能范式的物理化学家
长三角分享资料（问题一代码+论文+思路）链接（18点更新）：
链接：https://pan.baidu.com/s/1lteKvIWNZ4v-Gd7oOcgO9w
提取码：sxjm
这一题目主要是数据科学和机器学习应用在化学研究上。您需要从提供的大规模数据集中发现规律，构建模型，预测化学物质的物理化学性质。这将包括数据预处理、特征选择、模型构建和验证。问题涉及使用先进的机器学习技术，如深度学习、贝叶斯优化等，来处理高维数据和预测未知的化学属性。
l 问题1： 对给定数据进行预处理，研究y2与分子id之间的函数关系，尝试直接通过id预测y2
数据预处理：
缺失值处理：检查数据中是否存在缺失值，采用填补或删除等策略处理。
异常值检测：识别和处理数据中的异常值，如Z-score或IQR（四分位距）方法识别和处理异常值。
标准化/归一化：对特征数据进行标准化或归一化，以消除量纲的影响。
基于ID预测y2：
分析ID与y2之间的关系，探索是否存在线性或非线性关系。（绘制ID与y2的散点图，观察是否存在可识别的模式或趋势。）
根据探索结果，选择合适的模型（如线性回归、决策树等）进行训练和预测。
使用predict.csv中的ID进行y2的预测，并填入submit.csv文件。
首先，绘制id与y2的散点图进行分析，得出存在一定的非线性关系，下面我们将可以使用非线性拟合进行预测，如下所示
这里我们使用四阶多项式拟合，得到R^2为0.976，具有较好的结果
l 问题2： 对数据中的某些特征进行分析，建立预测y1的模型，选择不超过10个特征指标。
特征选择：
对data.csv中的特征进行分析，选择对y1预测最有影响的10个或更少特征。（可以使用Pearson、Spearman或Kendall相关系数根据数据特点选择）
可以采用相关性分析、主成分分析（PCA）等方法进行特征选择。
模型构建与验证：
基于选择的特征构建预测模型，可尝试多种模型如支持向量机、随机森林等。
通过交叉验证等方法评估模型性能，使用k-fold交叉验证来优化模型参数并防止过拟合。
结果预测：
使用适当的性能指标，如均方误差（MSE）或决定系数（R^2）
使用选定的模型对predict.csv数据进行预测，并将结果填入submit.csv。
问题二为了方便给大家展示，我们使用SelectKBest 方法结合 f_regression 函数从训练数据集中选择对目标变量 y1 影响最大的10个特征（y1,y2,x1 到 x100 中）。这个方法评估每个特征对于目标变量的统计显著性，选择最重要的特征。选择随机森林回归器作为预测模型，使用选定的特征和训练数据集来训练模型，在预测数据集上应用相同的特征选择方法，确保预测时使用的特征与训练模型时使用的特征一致。
l 问题3： 分析y3与其它特征间的函数关系，建立y3的预测模型，进行特征指标的灵敏度分析。
探索y3与其他特征的关系：
使用可视化工具（如散点图矩阵）和统计测试（如ANOVA）分析特征与y3之间的关系。
建模与优化：
使用适当的算法（如多元线性回归、神经网络）构建模型。
进行参数调优，如使用网格搜索。
灵敏度分析：
分析模型对输入特征变化的敏感度，确定对预测结果影响最大的特征。
结果预测与验证：
预测predict.csv中的y3值，填入submit.csv，并评估模型的泛化能力。
对于问题三的预测，基本与问题二思路相同
对于灵敏度分析首先选择了影响y3最大的特征，然后依次排除每个特征，重新训练模型，并计算均方误差（MSE）。通过可视化每次排除特征后的MSE变化，我们可以直观地看到每个特征的重要性。
l 问题4： 分析类别“class”与其它指标之间的关系，建立分子的类别预测模型。
关系探索：
分析class与其他特征之间的关系，识别影响分类结果的关键特征。
分类模型构建：
采用分类算法（如逻辑回归、决策树、神经网络）构建模型。
评估模型效果，可能需要调整参数和算法。
结果提交：
对predict.csv进行分类预测，结果填入submit.csv。
l 问题5： 描述提高模型预测精度的方法，重新对特定指标及类别进行预测。
方法探索：
研究和尝试不同的算法和技术，如集成学习、深度学习等。
探索特征工程的高级技术，如自动特征提取、特征学习等。
模型优化与测试：
优化模型配置，进行广泛的参数调整和测试。
使用更复杂的模型和算法组合，评估性能提升。
结果验证与提交：
使用优化后的方法重新预测y1, y3和class。
验证方法的有效性，并将预测结果提交。
