Python 全栈体系【四阶】(四)

第四章 机器学习

一、人工智能概述

1. 什么是人工智能

人工智能(Artificial Intelligence)是计算机科学的一个分支学科,主要研究用计算机模拟人的思考方式和行为方式,从而在某些领域代替人进行工作。

2. 人工智能的学科体系

以下是人工智能学科体系图:

在这里插入图片描述

  • 机器学习(Machine Learning):人工智能的一个子学科,研究人工智能领域的基本算法、原理、思想方法,机器学习研究的内容在其它子学科都会用到
  • 计算机视觉(Computer Vision):研究计算机处理、识别、理解图像、视频的相关技术
  • 自然语言处理(Natural Language Processing):研究计算机理解人类自然语言的相关技术
  • 语言处理:研究计算机理解识别、理解、合成语音的相关技术

3. 人工智能与传统软件的区别

传统软件:执行人的指令和想法,在执行之前人已经有了解决方案,无法超越人的思想和认识范围

人工智能:尝试突破人的思想和认识范围,让计算机学习到新的能力,尝试解决传统软件的难题

在这里插入图片描述

二、机器学习基本概念

1. 什么是机器学习

1975 年图灵奖获得者、1978 年诺贝尔经济学奖获得者、著名学者赫伯特.西蒙(Herbert Simon)曾下过一个定义:如果一个系统,能够通过执行某个过程,就此改进了它的性能,那么这个过程就是学习。由此可看出,学习的目的就是改善性能。

卡耐基梅隆大学机器学习和人工智能教授汤姆.米切尔(Tom Mitchell)在他的经典教材《机器学习》中,给出了更为具体的定义:对于某类任务(Task,简称 T)和某项性能评价准则(Performance,简称 P),如果一个计算机在程序 T 上,以 P 作为性能度量,随着经验(Experience,简称 E)的积累,不断自我完善,那么我们称计算机程序从经验 E 中进行了学习。

在这里插入图片描述

例如,篮球运动员投篮训练过程:球员投篮(任务 T),以准确率为性能度量(P),随着不断练习(经验 E),准确率不断提高,这个过程称为学习。

2. 为什么需要机器学习

程序自我升级

解决那些算法过于复杂,甚至没有已知算法的问题

在机器学习的过程中,协助人类获得事物的洞见

3. 机器学习的形式

3.1 建模问题

所谓机器学习,在形式上可近似等同于在数据对象中通过统计、推理的方法,来寻找一个接受特定输入 X,并给出预期输出 Y 功能函数 f,即 Y = f ( x ) Y = f(x) Y=f(x)。这个函数以及确定函数的参数被称为模型。

3.2 评估问题

针对已知的输入,函数给出的输出(预测值)与实际输出(目标值)之间存在一定误差,因此需要构建一个评估体系,根据误差大小判定函数的优劣。

3.3 优化问题

学习的核心在与改善性能,通过数据对算法的反复锤炼,不断提升函数预测的准确性,直至获得能够满足实际需求的最优解,这个过程就是机器学习。

4. 机器学习的分类(重点)

4.1 有监督、无监督、半监督学习
4.1.1 有监督学习

在已知数据输出(经过标注的)的情况下对模型进行训练,根据输出进行调整、优化的学习方式称为有监督学习。

在这里插入图片描述

  • 在训练数据中,有输出数据(类别标签)的为有监督学习。
4.1.2 无监督学习

没有已知输出的情况下,仅仅根据输入信息的相关性,进行类别的划分。

在这里插入图片描述

  • 在训练数据中,没有输出数据(类别标签)的为无监督学习。
4.1.3 半监督

先通过无监督学习划分类别,再人工标记通过有监督学习方式来预测输出.例如先对相似的水果进行聚类,再识别是哪个类别。

在这里插入图片描述

4.1.4 强化学习

通过对不同决策结果的奖励、惩罚,使机器学习系统在经过足够长时间的训练以后,越来越倾向于接近期望结果的输出。

4.2 批量学习、增量学习
4.2.1 批量学习

将学习过程和应用过程分开,用全部训练数据训练模型,然后再在应用场景中进行预测,当预测结果不够理想时,重新回到学习过程,如此循环。

4.2.2 增量学习

将学习过程和应用过程统一起来,在应用的同时,以增量的方式不断学习新的内容,边训练、边预测。

4.3 基于模型学习、基于实例学习
4.3.1 基于模型的学习

根据样本数据,建立用于联系输出和输出的某种数学模型,将待预测输入带入该模型,预测其结果。例如有如下输入输出关系:

输入(x)输出(y)
12
24
36
48

根据数据,得到模型 y = 2 x y = 2x y=2x

预测:输入 9 时,输出是多少?

4.3.2 基于实例的学习

根据以往经验,寻找与待预测输入最接近的样本,以其输出作为预测结果(从数据中心找答案)。例如有如下一组数据:

学历(x1)工作经验(x2)性别(x3)月薪(y)
本科38000
硕士210000
博士215000

预测:本科,3,男 ==> 薪资?

5. 机器学习的一般过程(重点)

5.1 数据收集

手段如手工采集、设备自动化采集、爬虫等

5.2 数据清洗

数据规范、具有较大误差的、没有意义的数据进行清理

  • 注:以上称之为数据处理,包括数据检索、数据挖掘、爬虫…
5.3 选择模型(算法)
5.4 训练模型
5.5 模型评估
5.6 测试模型
  • 注:3~6 步主要是机器学习过程,包括算法、框架、工具等…
5.7 应用模型
5.8 模型维护

6. 机器学习的典型应用

股价预测

推荐算法

自然语言处理

语音处理:语音识别、语音合成

图像识别、人脸识别

……

7. 机器学习的基本问题(重点)

7.1 回归问题

根据已知的输入和输出,寻找某种性能最佳的模型,将未知输出的输入代入模型,得到连续的输出。例如:

  • 根据房屋面积、地段、修建年代以及其它条件预测房屋价格
  • 根据各种外部条件预测某支股票的价格
  • 根据农业、气象等数据预测粮食收成
  • 计算两个人脸的相似度

(预测值为连续值)

7.2 分类问题

根据已知的输入和输出,寻找性能最佳的模型,将未知输出的输入带入模型,得到离散的输出。例如:

  • 手写体识别(10 个类别分类问题)
  • 水果、鲜花、动物识别
  • 工业产品瑕疵检测(良品、次品二分类问题)
  • 识别一个句子表达的情绪(正面、负面、中性)

(预测值为离散值)

7.3 聚类问题

根据已知输入的相似程度,将其划分为不同的群落,例如:

  • 根据一批麦粒的数据,判断哪些属于同一个品种
  • 根据客户在电商网站的浏览和购买历史,判断哪些客户对某件商品感兴趣
  • 判断哪些客户具有更高的相似度
7.4 降维问题

在性能损失尽可能小的情况下,降低数据的复杂度,数据规模缩小都称为降维问题.

8. 机器学习大纲

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/217134.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

输出网络结构图,mmdetection

控制台输入:python tools/train.py /home/yuan3080/桌面/detection_paper_6/mmdetection-master1/mmdetection-master_yanhuo/work_dirs/lad_r50_paa_r101_fpn_coco_1x/lad_r50_a_r101_fpn_coco_1x.py 这个是输出方法里面的,不是原始方法。 如下所示&a…

分层自动化测试的实战思考!

自动化测试的分层模型 自动化测试的分层模型,我们应该已经很熟悉了,按照分层测试理念,自动化测试的投入产出应该是一个金字塔模型。越是向下,投入/产出比就越高,但开展的难易程度/成本和技术要求就越高,但…

附录C 流水线:基础与中级概念

1. 引言 1.1 什么是流水线? 流水线爱是一种将多条指令重叠执行的实现技术,它利用了一条指令所需的多个操作之间的并行性。(指令操作的非原子性和指令类型的多样性) 在计算流水线中,每个步骤完成指令的一部分&#x…

Leetcode143 重排链表

重排链表 题解1 线性表 给定一个单链表 L 的头节点 head ,单链表 L 表示为: L0 → L1 → … → Ln - 1 → Ln请将其重新排列后变为: L0 → Ln → L1 → Ln - 1 → L2 → Ln - 2 → …不能只是单纯的改变节点内部的值,而是需要实际…

知识笔记(四十七)———什么是mysql

MySQL是一个开源的关系型数据库管理系统(RDBMS),它使用SQL(结构化查询语言)作为操作和管理数据的语言。MySQL广泛应用于各种应用程序和网站中,是最受欢迎的开源数据库之一。 以下是MySQL的一些主要特点和功…

mumu模拟器,adb devices 忽然就不显示设备解决方法

依次执行以下 adb kill-server adb start-server adb devices

现代物流系统的分析与设计

目 录 引言 3一、系统分析 4 (一)需求分析 4 (二)可行性分析 4 二、 总体设计 4 (一)项目规划 4 (二)系统功能结构图 5 三、详细设计 6 (一)系统登录设计 6 …

【技术分享】企业网必不可少的NAT技术

NAT是一种地址转换技术,它可以将IP数据报文头中的IP地址转换为另一个IP地址,并通过转换端口号达到地址重用的目的。NAT作为一种缓解IPv4公网地址枯竭的过渡技术,由于实现简单,得到了广泛应用。 NAT解决了什么问题? 随…

线程按顺序循环执行

假设有3个线程,依次打印A、B、C,按顺序循环打印100次。 这个其实是线程通信,如果只是按顺序执行,用只有一个线程的线程池,依次提交线程任务就行,但是这里还不是每个线程只执行一次,需要循环重复打印。 这里有两种处理方式,一种是搞个全局int变量,对线程数取模,得到0~…

01.Git分布式版本控制工具

一、Git简介 Git是一个开源的分布式版本控制系统,可以有效、高速地进行从很小到非常大的项目的版本管理。 Git是Linus Torvalds为了帮助管理Linux内核开发而开发的一个开放源码的版本控制软件。 二、版本控制器方式 1.集中式版本控制工具 版本库放在中央服务器中&…

LinuxBasicsForHackers笔记 -- 日志系统

日志文件存储有关操作系统和应用程序运行时发生的事件的信息,包括任何错误和安全警报。 rsyslog 日志守护进程 Linux 使用名为 syslogd 的守护进程自动记录计算机上的事件。 rsyslog 配置文件 与 Linux 中的几乎所有应用程序一样,rsyslog 由位于 /et…

力扣-242. 有效的字母异位词

文章目录 力扣题目代码分析 力扣题目 给定两个字符串 s 和 t ,编写一个函数来判断 t 是否是 s 的字母异位词。 注意:若 s 和 t 中每个字符出现的次数都相同,则称 s 和 t 互为字母异位词。 示例 1: 输入: s “anagram”, t “nagaram” …

【lesson11】表的约束(4)

文章目录 表的约束的介绍唯一键约束测试建表插入测试建表插入测试建表插入测试修改表插入测试 表的约束的介绍 真正约束字段的是数据类型,但是数据类型约束很单一,需要有一些额外的约束,更好的保证数据的合法性,从业务逻辑角度保…

docker二 redis单机安装

创建文件夹 mkdir -p /usr/local/redis/data /usr/local/redis/logs /usr/local/redis/conf chmod -R 777 /usr/local/redis/data* chmod -R 777 /usr/local/redis/logs*另一种风格 # 创建 redis 配置存放目录 mkdir -p /home/docker/redis/conf && chmod 777 /home/…

关于学习计算机的心得与体会

也是隔了一周没有发文了,最近一直在准备期末考试,后来想了很久,学了这么久的计算机,这当中有些收获和失去想和各位正在和我一样在学习计算机的路上的老铁分享一下,希望可以作为你们碰到困难时的良药。先叠个甲&#xf…

Appium 自动化自学篇 —— 初识Appium自动化!

Appium 简介 随着移动终端的普及,手机应用越来越多,也越来越重要。而作为测试 的我们也要与时俱进,努力学习手机 App 的相关测试,文章将介绍手机自动化测试框架 Appium 。 那究竟什么是 Appium 呢? 接下来我们一起来学习PythonS…

【Python】 pdf2image中所需要的poppler文件

问题 在使用pdf2image是需要依赖poppler这个可执行文件, 网上找不到相应的文件。 使用 from PIL import Image import fitz from pdf2image import convert_from_pathpdf_file rD:\workspace\python学习笔记.pdf save_path rD:\workspace\\long_image.png popple…

分布式环境认证和授权-基于springboot+JWT+拦截器实现-实操+源码下载

1、功能概述? 1、当用户登录的时候,将用户的信息通过JWT进行加密和签名,并将JWT产生了token信息保存到当前浏览器的localStoragee中,即本地存储中。 2、当用户登录成功后,访问其他资源的时候,程序从localStorage中获…

二蛋赠书十一期:《TypeScript入门与区块链项目实战》

前言 大家好!我是二蛋,一个热爱技术、乐于分享的工程师。在过去的几年里,我一直通过各种渠道与大家分享技术知识和经验。我深知,每一位技术人员都对自己的技能提升和职业发展有着热切的期待。因此,我非常感激大家一直…

Backtrader 文档学习-Quickstart

Backtrader 文档学习-Quickstart 0. 前言 backtrader,功能十分完善,有完整的使用文档,安装相对简单(直接pip安装即可)。 优点是运行速度快,支持pandas的矢量运算;支持参数自动寻优运算&#x…