常用的机器学习数据挖掘知识点【转】

转自:

【基础】常用的机器学习&数据挖掘知识点

Basis(基础):

MSE(Mean Square Error 均方误差),LMS(LeastMean Square 最小均方),LSM(Least Square Methods 最小二乘法),MLE(MaximumLikelihood Estimation最大似然估计),QP(Quadratic Programming 二次规划), CP(Conditional Probability条件概率),JP(Joint Probability 联合概率),MP(Marginal Probability边缘概率),Bayesian Formula(贝叶斯公式),L1 /L2Regularization(L1/L2正则,以及更多的,现在比较火的L2.5正则等),GD(GradientDescent 梯度下降),SGD(Stochastic Gradient Descent 随机梯度下降),Eigenvalue(特征值),Eigenvector(特征向量),QR-decomposition(QR分解),Quantile (分位数),Covariance(协方差矩阵)。

Common Distribution(常见分布):

Discrete Distribution(离散型分布):BernoulliDistribution/Binomial(贝努利分布/二项分布),Negative BinomialDistribution(负二项分布),MultinomialDistribution(多项式分布),Geometric Distribution(几何分布),HypergeometricDistribution(超几何分布),Poisson Distribution (泊松分布)

Continuous Distribution (连续型分布):UniformDistribution(均匀分布),Normal Distribution /Guassian Distribution(正态分布/高斯分布),ExponentialDistribution(指数分布),Lognormal Distribution(对数正态分布),GammaDistribution(Gamma分布),Beta Distribution(Beta分布),Dirichlet Distribution(狄利克雷分布),Rayleigh Distribution(瑞利分布),Cauchy Distribution(柯西分布),Weibull Distribution (韦伯分布)

Three Sampling Distribution(三大抽样分布):Chi-squareDistribution(卡方分布),t-distribution(t-distribution),F-distribution(F-分布)

Data Pre-processing(数据预处理)

Missing Value Imputation(缺失值填充),Discretization(离散化),Mapping(映射),Normalization(归一化/标准化)。

Sampling(采样):

Simple Random Sampling(简单随机采样),OfflineSampling(离线等可能K采样),Online Sampling(在线等可能K采样),Ratio-based Sampling(等比例随机采样),Acceptance-RejectionSampling(接受-拒绝采样),Importance Sampling(重要性采样),MCMC(MarkovChain Monte Carlo 马尔科夫蒙特卡罗采样算法:Metropolis-Hasting& Gibbs)。

Clustering(聚类):

K-Means,K-Mediods,二分K-Means,FK-Means,Canopy,Spectral-KMeans(谱聚类),GMM-EM(混合高斯模型-期望最大化算法解决),K-Pototypes,CLARANS(基于划分),BIRCH(基于层次),CURE(基于层次),DBSCAN(基于密度),CLIQUE(基于密度和基于网格)

Classification&Regression(分类&回归):

LR(Linear Regression 线性回归),LR(LogisticRegression逻辑回归),SR(Softmax Regression 多分类逻辑回归),GLM(GeneralizedLinear Model 广义线性模型),RR(Ridge Regression 岭回归/L2正则最小二乘回归),LASSO(Least Absolute Shrinkage andSelectionator Operator L1正则最小二乘回归), RF(随机森林),DT(DecisionTree决策树),GBDT(Gradient BoostingDecision Tree 梯度下降决策树),CART(ClassificationAnd Regression Tree 分类回归树),KNN(K-Nearest Neighbor K近邻),SVM(Support VectorMachine),KF(KernelFunction 核函数PolynomialKernel Function 多项式核函数、Guassian KernelFunction 高斯核函数/Radial BasisFunction RBF径向基函数、String KernelFunction 字符串核函数)、 NB(Naive Bayes 朴素贝叶斯),BN(Bayesian Network/Bayesian Belief Network/ Belief Network 贝叶斯网络/贝叶斯信度网络/信念网络),LDA(Linear Discriminant Analysis/FisherLinear Discriminant 线性判别分析/Fisher线性判别),EL(Ensemble Learning集成学习Boosting,Bagging,Stacking),AdaBoost(Adaptive Boosting 自适应增强),MEM(MaximumEntropy Model最大熵模型)

Effectiveness Evaluation(分类效果评估):

Confusion Matrix(混淆矩阵),Precision(精确度),Recall(召回率),Accuracy(准确率),F-score(F得分),ROC Curve(ROC曲线),AUC(AUC面积),LiftCurve(Lift曲线) ,KS Curve(KS曲线)。

PGM(Probabilistic Graphical Models概率图模型):

BN(Bayesian Network/Bayesian Belief Network/ BeliefNetwork 贝叶斯网络/贝叶斯信度网络/信念网络),MC(Markov Chain 马尔科夫链),HMM(HiddenMarkov Model 马尔科夫模型),MEMM(Maximum Entropy Markov Model 最大熵马尔科夫模型),CRF(ConditionalRandom Field 条件随机场),MRF(MarkovRandom Field 马尔科夫随机场)。

NN(Neural Network神经网络):

ANN(Artificial Neural Network 人工神经网络),BP(Error BackPropagation 误差反向传播)

Deep Learning(深度学习):

Auto-encoder(自动编码器),SAE(Stacked Auto-encoders堆叠自动编码器:Sparse Auto-encoders稀疏自动编码器、Denoising Auto-encoders去噪自动编码器、Contractive Auto-encoders 收缩自动编码器),RBM(RestrictedBoltzmann Machine 受限玻尔兹曼机),DBN(Deep Belief Network 深度信念网络),CNN(ConvolutionalNeural Network 卷积神经网络),Word2Vec(词向量学习模型)。

DimensionalityReduction(降维):

LDA LinearDiscriminant Analysis/Fisher Linear Discriminant 线性判别分析/Fisher线性判别,PCA(Principal Component Analysis 主成分分析),ICA(IndependentComponent Analysis 独立成分分析),SVD(Singular Value Decomposition 奇异值分解),FA(FactorAnalysis 因子分析法)。

Text Mining(文本挖掘):

VSM(Vector Space Model向量空间模型),Word2Vec(词向量学习模型),TF(Term Frequency词频),TF-IDF(Term Frequency-Inverse DocumentFrequency 词频-逆向文档频率),MI(MutualInformation 互信息),ECE(Expected Cross Entropy 期望交叉熵),QEMI(二次信息熵),IG(InformationGain 信息增益),IGR(Information Gain Ratio 信息增益率),Gini(基尼系数),x2 Statistic(x2统计量),TEW(TextEvidence Weight文本证据权),OR(Odds Ratio 优势率),N-Gram Model,LSA(Latent Semantic Analysis 潜在语义分析),PLSA(ProbabilisticLatent Semantic Analysis 基于概率的潜在语义分析),LDA(Latent DirichletAllocation 潜在狄利克雷模型)

Association Mining(关联挖掘):

Apriori,FP-growth(Frequency Pattern Tree Growth 频繁模式树生长算法),AprioriAll,Spade。

Recommendation Engine(推荐引擎)

DBR(Demographic-based Recommendation 基于人口统计学的推荐),CBR(Context-basedRecommendation 基于内容的推荐),CF(Collaborative Filtering协同过滤),UCF(User-basedCollaborative Filtering Recommendation 基于用户的协同过滤推荐),ICF(Item-basedCollaborative Filtering Recommendation 基于项目的协同过滤推荐)。

Similarity Measure&Distance Measure(相似性与距离度量):

Euclidean Distance(欧式距离),ManhattanDistance(曼哈顿距离),Chebyshev Distance(切比雪夫距离),MinkowskiDistance(闵可夫斯基距离),Standardized Euclidean Distance(标准化欧氏距离),MahalanobisDistance(马氏距离),Cos(Cosine 余弦),HammingDistance/Edit Distance(汉明距离/编辑距离),JaccardDistance(杰卡德距离),Correlation Coefficient Distance(相关系数距离),InformationEntropy(信息熵),KL(Kullback-Leibler Divergence KL散度/Relative Entropy 相对熵)。

Optimization(最优化):

Non-constrainedOptimization(无约束优化):Cyclic VariableMethods(变量轮换法),Pattern Search Methods(模式搜索法),VariableSimplex Methods(可变单纯形法),Gradient Descent Methods(梯度下降法),Newton Methods(牛顿法),Quasi-NewtonMethods(拟牛顿法),Conjugate Gradient Methods(共轭梯度法)。

ConstrainedOptimization(有约束优化):Approximation Programming Methods(近似规划法),FeasibleDirection Methods(可行方向法),Penalty Function Methods(罚函数法),Multiplier Methods(乘子法)。

Heuristic Algorithm(启发式算法),SA(SimulatedAnnealing,模拟退火算法),GA(genetic algorithm遗传算法)

Feature Selection(特征选择算法):

Mutual Information(互信息),DocumentFrequence(文档频率),Information Gain(信息增益),Chi-squared Test(卡方检验),Gini(基尼系数)。

Outlier Detection(异常点检测算法):

Statistic-based(基于统计),Distance-based(基于距离),Density-based(基于密度),Clustering-based(基于聚类)。

Learning to Rank(基于学习的排序):

Pointwise:McRank;

Pairwise:RankingSVM,RankNet,Frank,RankBoost;

Listwise:AdaRank,SoftRank,LamdaMART;

Tool(工具):

MPI,Hadoop生态圈,Spark,BSP,Weka,Mahout,Scikit-learn,PyBrain…

转载于:https://www.cnblogs.com/fuleying/p/4484346.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/273280.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

tomcat运行问题解决方法

早上过来遇到一个非常奇怪的问题,运行一个新的项目,运行环境都没问题,可是在调试的时候,总是出错。 错误代码: log4j:WARN No appenders could be found for logger log4j:WARN Please initialize the log4j system p…

团队开发——冲刺1.d

冲刺阶段一(第四天) 1、昨天做了什么? 完成部分界面设置,补充三层难度界面、游戏结束界面。 2、今天准备做什么? 优化界面细节。查看C#资料,再解决自己电脑的问题。 3、遇到什么困难? 已经固定好…

10. javacript高级程序设计-DOM

1. DOM DOM(文档对象模型)是针对HTML和XML文档的一个API(应用程序接口) 1.1 节点层次 DOM可以将任何HTML和XML文档描绘成一个由多层节点构成的结构。节点分为几种不同的类型,每种类型分别表示文档中不同的信息及标记。 1.1.1 Node类型 DOM1中…

hdu 5045 Contest(状态压缩DP)

题解&#xff1a;我们使用一个二位数组dp[i][j]记录进行到第i个任务时&#xff0c;人组合为j时的最大和&#xff08;这里的j我们用二进制的每位相应一个人&#xff09;。 详细见代码&#xff1a; #include <iostream> #include <cstdio> #include <cstring> …

mysql001创建数据库

-- 注释&#xff0c;ctrl/ -- 查询所有数据库&#xff1b; show DATABASES; -- 创建数据库; CREATE DATABASE studb; -- 切换数据库; USE studb; -- 删除数据库 DROP DATABASE studb;

mysql002创建表

-- 创建student表 DDL CREATE TABLE stdent( sno int(3), name VARCHAR(55), sex CHAR(2), age int, dtdate date, classname VARCHAR(55), email VARCHAR(55) ) -- 查询表中数据 DQL SELECT * FROM stdent;

oc基础-self关键字的使用

#import <Foundation/Foundation.h>interface Student : NSObject {int _age;char *_name; } - (void) study; - (void) run; (void) play;(void) run; endimplementation Student - (void) study {NSLog("%s在学习",self->_name);[self run];//若在此调用…

mysql003操作表DDL

-- 查询表中数据 DQL 注意在mydb数据库下面 SELECT * FROM stdent; -- 在表中添加一列 DDL -- 新增列 默认添加到最后 ALTER TABLE stdent add score DOUBLE(4,1); -- 新增一列 在表中开头添加 ALTER TABLE stdent add score2 double(5,1) first; -- 在指定列后面添…

Google Guava学习笔记——基础工具类Joiner的使用

Guava 中有一些基础的工具类&#xff0c;如下所列&#xff1a; 1&#xff0c;Joiner 类&#xff1a;根据给定的分隔符把字符串连接到一起。MapJoiner 执行相同的操作&#xff0c;但是针对 Map 的 key 和 value。 2&#xff0c;Splitter 类&#xff1a;与 Joiner 操作相反的类&a…

xampp 无法启动mysql

Error: could not open single-table tablespace file .\test\dr.ibd 在网上搜索到的解决方案都不管用。结果整合了两个解决方案&#xff1a; 删掉xampp/data/ib_logfile0 xampp/data/ib_logfile1 xampp/data/ibdata1 三个文件就好了转载于:https://www.cnblogs.com/fyydnz/p/4…

mysql005约束.列级别

-- 列级约束 -- sno 主键&#xff1a;唯一&#xff0c;不为空&#xff0c;自增 -- name 非空 -- sex 非空&#xff0c;默认值&#xff0c;只有男女 -- age 0-30岁 -- score 非空 -- dtdate 非空 -- classname 非空 -- email唯一 -- 创建表&#xff0c;增加列级约束 …

hdu.1430.魔板(bfs + 康托展开)

魔板 Time Limit: 10000/5000 MS (Java/Others) Memory Limit: 65536/32768 K (Java/Others) Total Submission(s): 2170 Accepted Submission(s): 455 Problem Description在魔方风靡全球之后不久&#xff0c;Rubik先生发明了它的简化版——魔板。魔板由8个同样大小的方…

mysql006添加外键约束

-- 添加外键 -- 建立主表&#xff0c;班级表 CREATE TABLE class( cno int PRIMARY key auto_increment, cname VARCHAR(55) ) SELECT * FROM class; -- 建立从表&#xff0c;学生表 CREATE table stu( sno int PRIMARY KEY auto_increment, sname VARCHAR(55), sex ch…

Circle-Progress-View

https://github.com/jakob-grabner/Circle-Progress-View 转载于:https://www.cnblogs.com/eustoma/p/4507476.html

python1.学生管理系统

#定义函数界面 def info_print(): print("请选择功能-----------") print("1.添加学员") print("2.删除学员") print("3.修改学员") print("4.查询学员") print("5.显示所有学员") print("6.退出系统"…

初学JSP+Servlet常见的错误

web编程中常见的错误: 一、404(要访问的资源没有找到) 1.web程序有没有部署(将项目到tomcat中) 2.url有没有写错(包括大小写&#xff0c;包括项目有没有重命名) 3.有没有将jsp/html放在WEB-INF 4.如果访问的是servlet,那么看下web.xml中url-pattern中的配置和你写的名字是否一致…

python2.面向对象学生管理系统

main.py(程序主入口) #1.导入管理系统模块 from mangerSystem import * #2.启动管理系统 #保证是当前文件运行才启动管理系统&#xff1a;if -- 创建对象并调用run()方法 if __name__"__main__": student_managerStudentManager() student_manager.run() student…

elasticsearch 删除满足条件的语句_ELK从入门到还未精通(二)——ElasticSearch上篇

大家好&#xff0c;我是泥腿子安尼特&#xff0c;5个月没在李佬都公众号更新文章了。上一篇&#xff0c;大致介绍了作为工具人的我是如何基本使用这一套ELK 系统的。今天就讲讲这个最重要的E——基于Lucene的搜索引擎ElasticSearch(后面简称ES)。最近刚搬家&#xff0c;没想到隔…

mysql004操作表.增删改

-- 查询表中数据 DQL 注意在mydb数据库下面 SELECT * FROM stdent; -- 新增数据 这种写法数据的循序和数据库的字段循序保持一致。 INSERT INTO stdent values (1,"张三","男",25,"2021.1.1","java","123qq.com"); --…

python2.面向对象.学生管理

main.py(程序主入口) #1.导入管理系统模块 from mangerSystem import * #2.启动管理系统 #保证是当前文件运行才启动管理系统&#xff1a;if -- 创建对象并调用run()方法 if __name__"__main__": student_managerStudentManager() student_manager.run() student…