机器学习【如何学习】

如何学习机器学习

机器学习是一门快速发展的学科,学习机器学习需要掌握一定的数据基础和编程能力。但是很多人一听到数学就头大,就退缩,导致想要学习的新已经有两三年了, 但是学习的行动一直在心里,迟迟没有落地,有时候学习一个东西并不需要掌握那么多前置的准备知识,可以先上手,尝试了再说,就像学些编程语言一样,我们最先开始的都是从Hello World! 开始。

机器学习也是一样,我们可以先尝试着解决问题,再回头研究底层的算法,数学知识,总之路上的风景一定是路上的人才能看到的,这跟现在的一个现状很想,之前像出国去万,但是不想报团,就像找两个搭子一起,几天都找不到一个,后来一个人出发了,结果发现路上全是搭子,印尼有搭子、马来、泰国都有搭子,所以找搭子最好的方式是在路上,而不是在家里,最好的搭子在路上!

基础

数学和编程语言是机器学习的基础,但是并不意味着你必须先去啃哪些枯燥无味的数学知识,这也不是我们提倡的,我们可以先动手尝试,再回头来了解哪些基础的知识。

数学

机器学习设计大量的数学知识,包括线性代数、概率论、统计学等。建议学习以下课程:

  • 线性代数:学习矩阵、向量、行列式、特征值和特征向量等概念
  • 概率论:学习概率分布、随机变量、期望、方差等概念
  • 统计学:学习回归分析、假设检验、机器学习算法等概念

有无数激情满满大步向前,誓要在机器学习领域有一番作为的同学,在看到公式的一刻就觉得自己完了。是啊,机器学习之所以相对于其他开发工作,更优门槛的根本原因就是数学。每一个算法,要在训练集上最大程度拟合同时又保证泛化能力,需要不断分析结果和数据,调优菜蔬,这需要我们对数据分布和模型底层的数学原理有一定的理解。所幸的是如果只是像合理应用机器学习,而不是做相关方向高精尖的research,需要的数据知识肯伊肯还是基本能理解的。

编程语言

  • python:Python是一种语法简单、易于学习的编程语言,是机器学习领域最常用的编程语言之一;

  • R:R是一种专门用于统计分析和数据挖掘的编程语言。 

常见概念

  • 特征:我们假设有函数y=ax+b,这里我们的自变量x,y是因变量。在机器学习中,这些自变量,就叫做特征(Feature)

  • 标签:我们假设有函数y=ax+b,这里我们的自变量x,y是因变量。在机器学习中,因变量y叫做标签(label);

  • 数据集:一批历史特征和一批历史标签的集合,就是机器学习的数据集;

  • 样本:机器学习模型训练和测试所使用的数据;

  • 过拟合:模型在训练数据集上表现良好,但是在测试数据集上表现不好,就是模型过度模拟了训练数据的特征,导致泛化能力很差

  • 欠拟合:模型在驯良数据集和测试数据集上表现都不好。就是说模型没有很好的从数据中发现数据的规律;

  • 交叉验证:将训练数据集划分为多个子集,使用不同的自己进行训练和验证,以提高模型的评估准确性;

  • 调参:调整模型的参数以获得更好的性能

  • 特征工程:其实就是从数据中清洗加工特征的过程。

常见的机器学习算法

  • 线性回归:用于回归问题

  • 逻辑回归:用于分类问题

  • 决策树:用于分类和回归问题

  • 支持向量机:用于分类问题

  • 朴素贝叶斯:用于分类问题

  • KNN:用于分类和回归问题

  • 随机森林:用于分类和回归问题

  • 神经网络:用于分类、回归和自然语言处理等问题 

如何实践

学习机器学习需要进行大量的实践,可以参看Kaggle等比赛,或者自己动手开发机器学习项目。

并非所有的问题都适合用机器学习解决(很多逻辑清晰的问题用规则能很高效和准确的处理),也没有一个机器学习算法可以通用语所有问题。咱们先来了解机器学习,到底关心和解决什么问题。 

分类问题

根据数据样本上抽取出的特征,判定其属于有限个类别中的哪一个。比如:

  • 垃圾邮件识别(结果类别:1、垃圾邮件2、正常邮件)
  • 文本情感褒贬分析(结果类别:1褒义2贬义)
  • 图像内容识别(结果类别:1、喵星人2、汪星人3、人类)

回归问题

根绝数据杨嫩上抽取出的特征,预测一个连续值的结果,比如: 

  • 星爷《功夫》票房
  • 大帝都2各月后的房价
  • 隔壁熊孩子一天来你家几次

聚类问题

根据数据样本上抽取出的特征,让样本抱抱团(相近/相关的样本在一团内)。比如:

  • google的新闻分类
  • 用户群体划分
  • 分类于回归问题需要用已知结果的数据做训练,属于”监督学习“
  • 聚类的问题不需要已知的标签,属于”无监督学习“ 

初学机器学习可能有一个误区,就是一上来就陷入到对各种高大上算法的追逐中。动不动就我能不能用深度学习去解决这个问题,我是不是要用boosting算法做一些模型融合啊,我已知持有一个观点,【脱离业务和数据的算法讨论时毫无意义的】。

实际上按我们学习经验,从一个数据源开始,集市时最传统已经应用多年的机器学习算法,先完整的走完机器学习的整个工作流程,不断尝试各种算法深挖这些数据价值,在运用过程中吧数据、特征和算法搞透,真正积累出项目经验才是最快、最靠谱的学习路径。

那如何获取数据和项目呢?一个结晶就是积极参加国内玩各种数据挖掘竞赛,数据直接下载下来,按照竞赛的要求去不断优化,积累经验。过完的Kaggle和国内DataCastle以及阿里天池比赛都是很好的平台,你可以在上面获取真实的数据和数据科学家们一起学习和进行竞赛,尝试使用已学过的所有知识来完成这个比赛本身也是一件很有了却的事情。和其他数据科学家的讨论能开阔视野,对机器学习算法有更深层次的认识。

基本流程

以上我们基本具备了机器学习的必要条件,剩下的就是怎么运用他们去做一个完整的机器学习项目。其工作流程如下:

明确问题

  •  明确问题时进行机器学习的第一步。机器学习的训练过程通常都是一件非常耗时的事情,胡乱尝试实践成本是非常高的。

  • 这里的明确问题指的是,我们明确我们可以获得什么样的数据,目标是一个分类还是回归或者聚类的问题,如果都不是的化,如果划归为其中的某类问题。

获取数据

  • 数据决定了机器学习结果的上限,而算法只是尽可能逼近这个上限;

  • 数据要有代表性,狗则必然会过拟合

  • 而且对于分类问题,数据倾斜不能过于严重,不同类别的数据量不要有数个量级的差距

  • 而且还要对数据的量级有一个评估,多个样本,多个特征,可以估算出其堆内存的消耗程度,判断训练过程中内存是否能够放得下。如果放不下就考虑改进算法或者使用一些降维的技巧了。如果数据量实在太大,那就要考虑分布式了。 

特征工程

特征工程主要包括特征处理与特征选择

  • 良好的数据要能够提取的特征才是真正发挥效力
  • 特征预处理,数据清洗是很关键的步骤,往往能够使得算法的效果和性能得到显著提高。归一化、离散化、因子化、缺失值处理、去除共线性等,数据挖掘过程中很多实践就花在他们上面。这些工作简单可复制,收益稳定可预期,是机器学习的基础必备步骤。
  • 筛选出显著特征、摒弃非显著特征,需要机器学习工程师反复理解业务。这对很多结果有决定性的影响。特征选择好了,非常简单的算法也能得出良好、稳定的结果。这需要运用特征有效性分析的相关技术,如相关系数、卡方检验、平均互信息、条件熵、后验概率、逻辑回归权重等方法。 

训练模型与调优

指导这一步才用到我们上面说的算法进行训练。现在很多算法都能够封装成黑盒供人使用。但是真正考验水平的是调整这些算法的参数,使得结果变得更加优良。这需要我们对算法的原理有深入的理解。理解越深入,就能发现问题的症结,提出良好的调优方案。

  • 过拟合、欠拟合 判断是模型诊断中至关重要的一步。常见的方法如交叉验证,绘制学习曲线等。过拟合的基本调优思路是增加数据量,降低模型复杂度。欠拟合的基本调优思路是提高特征数量和质量,增加模型复杂度。
  • 误差分析 也是机器学习至关重要的步骤。通过观察误差样本,全面分析误差产生误差的原因:是参数的问题还是算法选择的问题,是特征的问题还是数据本身的问题
  • 诊断后的模型需要进行调优,调优后的新模型 需要重新进行诊断,这是一个反复诊断不断逼近的过程,需要不断地尝试,进而达到最佳状态。

模型发布

这一部分地内容主要是跟工程实现地相关性比较大。工程上是结果导向,模型在线上运行地效果直接决定模型地成败。不单纯包括其准确的、误差等情况,还包括其运行地速度(时间复杂度)、资源消耗程度(空间复杂度)、稳定性是否可接收。

这些工作流程主要是工程实践上总结出来地一些经验。并不是每个项目都包含完整的一个流程。这里的部分只是一个指导性的说明,只有大家自己多实践,多积累项目经验,才会有自己更深刻的认识。 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/9996.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

常见的TypeScript类型注解符号

1、: 用途: 用于指定类型。放在变量名或函数参数后面,紧接着是类型。 示例: let name: string "Alice";2、string, number, boolean, void, null, undefined 用途: 基本数据类型。分别表示字符串、数字、布尔值、无返回值、空值和未定义。 示例: func…

每日两题 / 226. 翻转二叉树 98. 验证二叉搜索树(LeetCode热题100)

226. 翻转二叉树 - 力扣(LeetCode) 以后续遍历的方式交换当前节点的左右指针 /*** Definition for a binary tree node.* struct TreeNode {* int val;* TreeNode *left;* TreeNode *right;* TreeNode() : val(0), left(nullptr), ri…

机器学习-12-sklearn案例03-flask对外提供服务

整体思路 训练一个模型,把模型保存 写一个基于flask的web服务,在web运行时加载模型,并在对应的接口调用模型进行预测并返回 使用curl进行测试,测试通过 再创建一个html页面,接受参数输入,并返回。 目录结…

Java使用equals和==的区别

对于在范围 -128 到 127 之间的数值,Java 会使用缓存的 Integer 对象。因此,这些数值的 Integer 对象可以使用 进行比较。 对于不在这个范围的数值,Java 每次可能创建一个新的 Integer 对象。这样,即使两个 Integer 对象代表相同…

CSS悬浮动画

<button class"btn">悬浮动画</button>.btn {position: absolute;top: 50%;left: 50%;transform: translate(-50%, -50%);padding: 10px 20px;width: 200px;height: 50px;background-color: transparent;border-radius: 5px;border: 2px solid powderblu…

C++继承深入解析

目录标题 1. 继承的基本概念1.1 为什么使用继承1.2 继承的语法 2. 继承的类型2.1 公共继承&#xff08;Public Inheritance&#xff09;公共继承的特性公共继承的语法公共继承的实际应用 2.2 保护继承&#xff08;Protected Inheritance&#xff09;保护继承的特性保护继承的语…

R2S+ZeroTier+Trilium

软路由使用ZeroTier搭建远程笔记 软路由使用ZeroTier搭建远程笔记 环境部署 安装ZeroTier安装trilium 环境 软路由硬件&#xff1a;友善 Nanopo R2S软路由系统&#xff1a;OpenWrt&#xff0c;使用第三方固件nanopi-openwrt。内网穿透&#xff1a;ZeroTier。远程笔记&…

银河麒麟操作系统 v10 离线安装 Docker v20.10.9

1查看系统版本 [rootweb-0001 ~]# cat /etc/os-release NAME"Kylin Linux Advanced Server" VERSION"V10 (Tercel)" ID"kylin" VERSION_ID"V10" PRETTY_NAME"Kylin Linux Advanced Server V10 (Tercel)" ANSI_COLOR"…

pyqt动画效果放大与缩小

pyqt动画效果放大与缩小 QPropertyAnimation介绍放大与缩小效果代码 QPropertyAnimation介绍 QPropertyAnimation 是 PyQt中的一个类&#xff0c;它用于对 Qt 对象的属性进行动画处理。通过使用 QPropertyAnimation&#xff0c;你可以平滑地改变一个对象的属性值&#xff0c;例…

服务器2080ti驱动的卸载与安装

服务器2080ti驱动的卸载与安装 前言1、下载驱动2、驱动卸载与安装2.1 卸载原来驱动2.2 安装新驱动 3、查看安装情况 前言 安装transformers库&#xff0c;运行bert模型时出错&#xff0c;显示torch版本太低&#xff0c;要2.0以上的&#xff0c;所以更新显卡驱动&#xff0c;重…

基于vgg16和efficientnet卷积神经网络的天气识别系统(pytorch框架)全网首发【图像识别-天气分类】

一个能够从给定的环境图像中自动识别并分类天气&#xff08;如晴天、多云、雨天、雪天闪电等&#xff09;的系统。 技术栈&#xff1a; 深度学习框架&#xff1a;PyTorch基础模型&#xff1a;VGG16与EfficientNet任务类型&#xff1a;计算机视觉中的图像分类 模型选择 VGG16 …

1.基于python的单细胞数据预处理-归一化

目录 归一化的引入移位对数皮尔森近似残差两个归一化方法的总结 参考&#xff1a; [1] https://github.com/Starlitnightly/single_cell_tutorial [2] https://github.com/theislab/single-cell-best-practices 归一化的引入 在质量控制中&#xff0c;已经从数据集删除了低质…

【网络安全】一次sql注入问题的处理

目录 问题 10.60.100.194&#xff0c;修改之前 修改方案 问题解决 测试过程 问题思考与总结 问题 一次sql注入问题的筛查报告&#xff0c;主要是sql注入的问题资源-CSDN文库 doc-new\20-设计文档\34-Mesh设备管理\100-网络安全 10.60.100.194&#xff0c;修改之前 修改…

Multitouch for Mac:手势自定义,提升工作效率

Multitouch for Mac作为一款触控板手势增强软件&#xff0c;其核心功能在于手势的自定义和与Mac系统的深度整合。通过Multitouch&#xff0c;用户可以轻松设置各种手势&#xff0c;如三指轻点、四指左右滑动等&#xff0c;来执行常见的任务&#xff0c;如打开应用、切换窗口、滚…

ansible部署lamp架构

搭建参考&#xff1a;ansible批量运维管理-CSDN博客 定义ansible主机清单 [rootansible-server ~]# vim /etc/hosts 192.168.200.129 host01 192.168.200.130 host02 [rootansible-server ~]# vim /etc/ansible/hosts [webserver] host01 host02 在ansible端编写index.html…

rk3588 安卓13 暴露相机开关接口

以前不知道有个系统属性可以做&#xff0c;后面的代码我几乎都用系统属性来写&#xff0c;比写个额外的广播接口方便多了。 实现一个相机的开关接口给上层调用&#xff0c;也就是打开后&#xff0c;上层无法再调用相机&#xff0c;关闭后可以正常打开&#xff0c;无需重启&…

为什么Redis6.0引入了多线程

Redis 6.0引入了多线程&#xff0c;主要原因有以下几点&#xff1a; 提高网络I/O的吞吐量&#xff1a;多线程可以更有效地处理大量的并发连接和请求&#xff0c;特别是在多核心服务器上。通过使用多线程来处理读写网络套接字&#xff0c;Redis能够更充分地利用系统资源&#x…

AMQP实战

AMQP AMQP是Advanced Message Queuing Protocol的缩写&#xff0c;意为高级消息队列协议。它是一种应用层协议&#xff0c;用于在分布式系统中进行消息通信。AMQP提供了可靠、安全、高效的消息传递机制&#xff0c;可以支持大规模的消息传递场景。 AMQP的主要特点包括以下几点…

DRF渲染之异常处理

异常处理 【1 】引言 Django REST Framework 这个就是我们常常说的DRF APIView的dispatch方法&#xff1a; 当请求到达视图时&#xff0c;DRF 的 APIView 类会调用 dispatch 方法来处理请求。在 dispatch 方法中&#xff0c;有一个关键的步骤是处理异常。如果在视图类的方法…

加速vivado编译工程

系统环境&#xff1a;windows11IDE环境&#xff1a;vivado2023.2工程&#xff1a;vivado自带的example project&#xff08;wave_gen&#xff09; Vivado支持多线程&#xff0c;可进一步缩短编译时间&#xff0c;这需要通过如下的Tcl脚本进行设置。综合阶段&#xff0c;Vivado可…