人工智能背后的数学

本文来自王宏琳科学网博客

      计算机会“思维”、Agent(智能体)能感知环境、机器可从经验中学习,其背后离不开数学——从线性代数、概率统计到拓扑学众多数学分支。这篇读书札记讨论人工智能背后的数学。

【人工智能离不开数学】

术语“人工智能(AI)”由两个词组成,“人工”和“智能”。“人工”一词意味着人造,而“智能”一词则意味着思维能力(如,学习、推理和解决问题)。因此,可以说,人工智能是人造的思维能力。有些人工智能教科书将这一领域定义为研究“Agent(智能体)”——任何能够感知环境并采取行动,以最大限度地提高成功实现目标的机会的设备。机器学习(ML)是近年来发展最为迅速的人工智能的一个子集。它研究通过经验自动改进的计算机算法,为系统提供从经验中学习的能力,其主要目标是让计算机在不受人类干预的情况下自动学习并进行相应的调整。这里所谓人工智能的学习、推理和解决问题的能力,Agent(智能体)感知环境和采取行动的能力,机器学习的通过经验自动改进算法的能力,其背后均离不开数学。

Richard E. Neapolitan和Xia Jiang著的《Artificial Intelligence with an Introduction to Machine learning (人工智能与机器学习导论)》一书第二版(参考资料[1]),由5个部分组成,讨论了人工智能的5个主要研究领域:逻辑智能、概率智能、涌出智能(Emergent Intelligence,基于群体智能的进化计算和方法)、神经智能(神经网络和深度学习)和语言理解。

人工智能早期的成功,是建立在逻辑推理模型的基础上的。基于这种逻辑推理的人工智能模型是该书的第一部分的重点。在20世纪70年代,越来越明显的是,人类做出的许多判断都涉及不确定或概率推断。到20世纪90年代,这种概率推理的建模,在人工智能中变得司空见惯。概率推理是该书的第二部分的重点。智能行为并不局限于人类的推理。基于自然选择模型开发了有用的算法。非智能实体在群体中的行为有时会产生一种称为群体智能的涌现智能。该书的第三部分讨论了基于涌现智能的算法。最近神经网络在被称为深度学习领域的应用得到了新生,它已经成功地应用于计算机视觉和语音识别等领域。该书的第四部分致力于神经网络和深度学习。最后,第五部分讨论了人工智能的一项重要工作,即自然语言理解。

显然,人工智能这五个主要研究领域背后的数学,不尽相同。所以,如果问“人工智能背后的数学是什么?”,从不同人工智能研究者,可能得到不同的答案。

有许多数学分支有助于人工智能和机器学习。例如,拓扑学是一门纯数学的学科,然而,拓扑数据分析(TDA)是一种利用数据中的拓扑特征,寻找数据集结构的应用数学方法。顾名思义,TDA利用了拓扑学的思想。TDA为数据分析提供了一个通用的框架,其优点是能够从大量高维数据中提取信息,并具有抗噪声的稳定性。TDA在短短的几年内得到了长足的发展,包括:聚类、流形估计、非线性降维、理解时间序列、模式估计和岭估计等。TDA已经成功地发现了许多大型复杂数据集中的信息。TDA结合了代数拓扑和统计学习的工具,为研究数据的“形状”提供了定量基础。拓扑数据分析技术正在与我们今天所熟悉的人工智能技术相结合。早期的例子是计算机视觉拓扑学(参考资料[2])。拓扑数据分析量化了大原始噪声数据中隐藏的拓扑结构,将拓扑数据分析和机器学习结合起来,可用于解决计算机视觉实际问题,以及更深入的理解数字图像。又如,深度神经网络的拓扑学。深度神经网络是一种强大而迷人的方法,用于研究各种数据(包括图像、文本、时间序列和其他许多数据)取得了巨大成功。然而,限制其适用性的一个问题是,人们对其内部的工作原理缺乏任何详细的了解。对卷积深神经网络的内部状态进行拓扑数据分析,可以了解它们所执行的计算(参考资料[3])。神经网络还可以通过改变拓扑结构来运行,将拓扑结构复杂的数据集,转换为拓扑简单的数据集(参考资料[4])。TDA是一个快速发展的领域,在机器学习、应用和计算拓扑学领域吸引了越来越多的实践者和研究者的兴趣。因此,有人称:“拓扑数据分析可以说是机器学习趋势的先锋,因为它的细粒度模式分析取代了传统的有监督或无监督学习”(参考资料[5])。也许“拓扑智能”也会成为未来的一个重要的研究领域。

没有人精通所有数学(即使是数学家,也不一定精通全部所有数学知识),更不可能要求实际工作者掌握全部所有数学知识,但应该掌握有关研究领域的数学基础知识。微积分、代数、线性代数、概率统计的基础知识,将会很重要。

【机器学习中的数学基础新书】

数学是机器学习的基础,对理解这个领域的基础至关重要。机器学习涉及哪些基本数学工具呢?约书亚•本吉奥等著的《深度学习》(被称为“深度学习”的圣经)一书(参考资料[6])中,介绍理解深度学习所需的基本数学概念包括:线性代数、概率与信息论、数值计算三个应用数学基础。而莎朗·萨克塞纳(Sharon Saxena)在一篇题为《机器学习背后的数学-你需要知道的核心概念》(参考资料[7])文章中,则提出线性代数、多元微积分和概率统计三个应用数学基础。两者都列有线性代数和概率统计。下面介绍三种机器学习中的数学基础新书,这些书尤其适合自学。

[应用线性代数导论——向量、矩阵和最小二乘法]

线性代数是研究线性方程组及其变换性质的学科。线性代数可用于分析空间中的旋转,最小二乘拟合,求解耦合微分方程,以及许多其他数学、物理和工程问题。例如,线性代数是现代几何的基础,包括定义基本对象,如直线、平面和旋转。这个数学分支涉及方程,有助于获得关于不同变量如何影响机器学习中需要预测的值。然而,由于线性代数是一种连续形式而非离散形式的数学,许多计算机科学家对此没有经验。对线性代数的良好理解对于理解和使用许多机器学习算法,特别是深度学习算法至关重要。

斯坦福大学教授斯蒂芬·博伊德(Stephen Boyd)的新书《Introduction to Applied Linear Algebra —— Vectors, Matrices, and Least Squares(应用线性代数导论——向量、矩阵和最小二乘法)》(参考资料[8]),本书简称VMLS,提供对应用线性代数的基本主题——向量,矩阵和最小二乘法的介绍。目标学习线性代数的基础理论和技能,并了解它们的应用,包括数据拟合、机器学习和人工智能、断层扫描、导航、图像处理、金融,自动控制系统。

VMLS下载地址:https://web.stanford.edu/~boyd/vmls/

VMLS提供配套的《Julia Language Companion》,可以在复习数学概念的同时,学习最新的Julia语言。实际上,我去年读VLMS,是为了学习利用Julia语言数据分析编程。学习Julia语言主要有三个原因:性能、简单性和灵活性。在人工智能社区,现在主流编程语言是Python。但是, Python的运行效率慢,因而,许多大型科学与计算软件仍然使用C++或Fortran编写。现在Julia将Python和Matlab的高生产率和易用性与C++和Fortran的闪电般速度相结合,正在迅速成为科学与工程计算、人工智能和机器学习领域主要的有竞争力的语言。由于Julia语言是新推出的语言(2018年8月MIT正式发布编程语言Julia 1.0),有关与之配套的应用数学书籍不多见。

[Julia统计学:数据科学、机器学习和人工智能基础]

统计学是一组工具的集合,可以使用这些工具来获得有关数据的重要问题的答案。可以使用统计方法将原始观察结果转换为可以理解和共享的信息,可以使用统计推断方法从小样本数据推理到整个领域。统计学通常被认为是应用机器学习领域的先决条件。机器学习和统计学是两个密切相关的研究领域。概率统计方法的使用,为机器学习提供了利用、分析和呈现原始数据的正确途径。机器学习应用统计方法,导致了语音分析和计算机视觉等领域的成功实现。

上述的VMLS是我读到的第一本具有Julia配套示例的应用数学教科书。另外一本正在读的是关于统计学的,约尼·纳扎拉西(Yoni Nazarathy)和海登·克洛克(Hayden Klok)著,题为《Statistics with Julia: Fundamentals for Data Science, Machine Learning and Artificial Intelligence(Julia统计学:数据科学、机器学习和人工智能基础)》。预计这本书将于2020年底通过斯普林格(Springer)出版,不过,其草稿可以在如下网址下载(草稿预先发布的做法,有利于提前交流和完善书稿):

https://statisticswithjulia.org/StatisticsWithJuliaDRAFT.pdf

这本书的草稿包括:介绍Julia、基本概率、概率分布、数据处理与汇总、统计推断概念、置信区间、假设检验、线性回归、机器学习基础和动态模型仿真等十章,具有完整的内容结构和使用juliav1.4和近40个包的完整代码库,以及总共212个代码示例。

掌握人工智能背后的数学,不同于传统的数理研究。17世纪牛顿-胡克数学家之战时代的数学,要用笔和纸来钻研定理、推导和问题,然后第二天互相挑战。20世纪上半叶爱因斯坦-玻尔思想实验之争的时代,通过使用想象力进行的实验,说服对方。在21世纪,这些并非是学习新概念的唯一方法,更非最佳方式。研究人工智能中的数学,应该更加关注任何给定表达式的直觉和几何解释,理解这些令人费解的表达式背后的含义,关注发生了什么,为什么会发生。利用像NumPy这样的计算库,帮助进行计算试验,往往更有意义。所以,机器学习的实践者在学习数学的同时,离不开如同Python或Julia这样计算机编程语言。

[机器学习中的数学]

2019年,剑桥大学出版社出版了一本Marc Peter Deisenroth, A. Aldo Faisal, Cheng Soon Ong著的新书《Mathematics for Machine Learning(机器学习中的数学)》(参考资料[9])。根据作者的说法,《机器学习中的数学》的目标是提供必要的数学技能,以便随后阅读有关更高级机器学习主题的书籍。

该书把基础(数学)概念从应用中分离出来,分成两个部分。第一部分涵盖了纯数学概念,包括线性代数、解析几何、矩阵分解、向量微积分、最优化、概率和统计学,没有涉及到机器学习。第二部分将重点放在利用这些概念推导出四种主要的机器学习方法:线性回归、主成分分析、高斯混合模型和支持向量机。对于学生和其他有数学背景的人来说,这些推导为学习机器学习提供了一个起点。对于第一次学习数学的人来说,这些方法有助于建立运用数学概念的直觉和实践经验。本书采用模块化编写的方式,可以用两种方式阅读:自下而上——从基础到更高级的概念;自上而下——从实际需求深入到更基本的需求。下图表示在这本书中所涵盖的机器学习的四个支柱和在第一部分介绍的数学基础。

来源:参考资料[9]图1.1

下图截取自书中,表示第2章介绍的线性代数概念有关概念及其与书中其它部分关系:

来源:参考资料[9]图2.2

每一章都包含了测试理解力的实例和练习(第一部分提供的练习主要是用笔和纸来完成的)。该书的网站上还提供了在第二部分中讨论的机器学习算法编程教程(jupyter笔记本)。

剑桥大学出版社支持免费下载本书,网址为:

https://mml-book.com

这里介绍的三本教科书,具有注重数学理论基础和应用实践结合,并伴随有编程示例的特点。

【结语】

国内去年一度盛传的“徐匡迪之问”——“中国有多少数学家投入到人工智能的基础算法研究中?”引发过共鸣,不但为学术界所关注,也推动业界重视数学模型的研究和算法设计的创新。

据报道,2020年8月11日,著名科学家姚期智在受聘同济大学名誉教授举行的学术报告会上,分享了对当前人工智能(AI)研究(人工智能的科学基础、神经拓扑结构——神经网络研究的新视角、隐私保护学习、可控超级智能等)和相关人才培养的思考。报导强调,“AI离不开数学,但AI面临的问题不全是数学问题”(参考资料[10])。

在海外的一些大学里,计算机科学系的学生通常在接受数学和统计学方面的培训并不多。目前的机器学习教科书,也主要集中在机器学习的算法和方法上,并假设读者已经掌握数学和统计学,因此,这些书只花一两章介绍背景数学,或在书的开头或作为附录。许多人想深入研究基本机器学习方法的基础,就需要补充阅读机器学习所需的数学知识。所以,加强数学和统计学基础训练非常必要。

参考资料:

[1] Richard E. Neapolitan, Xia Jiang. Artificial Intelligence. Taylor & Francis Group, LLC 2018

[2] Gerhard X. Ritter. TOPOLOGY OF COMPUTER VISION. Topology Proceedings . Volume 12, 1987 Pages 117–158

[3] Gunnar Carlsson and Rickard Brüel Gabrielsson. Topological Approaches to Deep Learning. Topological Data Analysis. The Abel Symposium 2018 (Edited by the Norwegian Mathematical Society).Springer Nature Switzerland AG 2020

[4] GREGORY NAITZAT, ANDREY ZHITNIKOV, AND LEK-HENG LIM. TOPOLOGY OF DEEP NEURAL NETWORKS. arXiv: 2004.06093v1 [cs.LG] 13 Apr 2020

https://arxiv.org/pdf/2004.06093.pdf

[5] insidebigdata.Tomorrow’s Machine Learning Today: Topological Data Analysis, Embedding, and Reinforcement Learning.February 14, 2020

https://insidebigdata.com/2020/02/14/tomorrows-machine-learning-today-topological-data-analysis-embedding-and-reinforcement-learning/

[6] 伊恩·古德费洛,(加)约书亚·本吉奥,亚伦·库维尔. 深度学习.人民邮电出版社.2010

[7] Sharoon Saxena. Mathematics behind Machine Learning – The Core Concepts you Need to Know. Analytics Vidhya. October 15, 2019

https://www.analyticsvidhya.com/blog/2019/10/mathematics-behind-machine-learning/

[8] Stephen Boyd and Lieven Vandenberghe. Introduction to Applied Linear Algebra – Vectors, Matrices, and Least Squares. Cambridge University Press. 2018

[9] Marc Peter Deisenroth,A. Aldo Faisal,Cheng Soon Ong. Mathematics for Machine Learning. Cambridge. 2018

[10] 吴金娇. AI离不开数学,但AI面临的问题不全是数学问题. 文汇报. 2020-08-12. 《科学网》转载地址:

http://news.sciencenet.cn/htmlnews/2020/8/444052.shtm

未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)云脑研究计划,构建互联网(城市)云脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。

  如果您对实验室的研究感兴趣,欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/487138.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Science 好文:强化学习之后,机器人学习瓶颈如何突破?

来源 | AI科技评论编译 | 陈彩娴编辑 | 陈大鑫在过去的十年里,机器学习确实取得了巨大的突破,计算机视觉与语言处理方面也因此出现了许多改变世界的重要应用。但是,这股“春风”却没有吹到智能机器人领域。针对机器人学习所面临的瓶颈&#x…

基于忆阻器的神经网络应用研究

来源:文章转载自期刊《微纳电子与智能制造》,作者:陈 佳,潘文谦,秦一凡,王 峰,李灏阳,李 祎,缪向水。摘 要基于忆阻突触器件的硬件神经网络是神经形态计算的重要发展方向…

CORS预检请求详谈

引言 最近在项目中因前后端部署不同地方,前端在请求后端api时发生了跨域请求,我们采用CORS(跨域资源共享)来解决跨域请求,这需要前后端的配合来完成。在这一过程中,后端支持了CORS跨域请求后,前端的请求配置可能会调起…

制胜人工智能时代——企业人工智能应用现状分析(第三版)

全文共计300字25图,预计阅读时间9分钟来源 | 德勤Deloitte(转载请注明来源)编辑 | 张77当前,现今一代人工智能技术的应用正在展开新的篇章。我们可以看到,人工智能已被广泛部署于各类用例,以解决不同业务问…

Tomcat启动时项目重复加载,导致资源初始化两次的问题

最近在项目开发测试的时候,发现Tomcat启动时项目重复加载,导致资源初始化两次的问题导致该问题的原因:如下图:在Eclipse中将Server Locations设置为“Use Tomcat installation(takes control of Tomcat installation)”时&#xf…

论文速递:通过模拟大脑-解决深度学习中的灾难性遗忘

来源:混沌巡洋舰灾难性遗忘指的是:不像人类,当深度学习模型被训练完成新的任务时,他们很快就会忘记以前学过的东西。8月13号的自然通讯论文Brain-inspired replay for continual learning with artificial neural networks&#x…

蒲慕明院士PNAS最新研究:神经元数量在共同激活诱导大脑神经元兴奋性增强的重要性...

来源:brainnews2020年8月3日,中国科学院脑科学与智能技术卓越创新中心(神经科学研究所)、上海脑科学与类脑研究中心、神经科学国家重点实验室蒲慕明研究组在《Proceedings of the National Academy of Sciences》杂志在线发表了题为《同步激活大量神经元…

一文读懂什么是数字孪生?

文章转载自微信公众号数字孪生大赛,版权归原作者及刊载媒体所有。一、数字孪生的概念从理论的概念来看,Digital Twin数字孪生:是充分利用物理模型、传感器更新、运行历史等数据,集成多学科、多物理量、多尺度、多概率的仿真过程,在…

第五轮学科评估再提“破五唯”

来源:中国科学报作者:袁一雪近日,教育部官网公布了对《关于完善高校学科评估制度,促进教育治理体系和能力现代化的提案》的答复,提到学科评估坚决破除“五唯”顽疾。评价教师不唯“学历”和“职称”,不设置…

MEMS惯性传感器有哪些趋势?

来源:半导体产业基金整理如何在灾难救援中,精准定位受困人员的位置?如何在无人机操作中,提高系统精度?如何在人机交互中,更好的实现动作检测和姿势识别?如何在自动驾驶中,做到更精确…

css pointer-event

详见:张鑫旭 CSS3 pointer-events:none应用举例及扩展 pointer-events:none ,可以使事件穿透, 如: 2 覆盖在 1 上面。 给 2 设置 pointer-events:none;那么点击在 2 上将无效, 可以直接触发 1 上的事件 转载…

5G智慧医疗十大应用场景,你知道多少?

来源:北京物联网智能技术应用协会都说5G会改变千行百业,其中,5G医疗健康就是5G技术在医疗健康行业的一个重要应用领域。随着 5G 正式商用的到来以及与大数据、互联网、人工智能、区块链等前沿技术的充分整合和运用, 5G 医疗健康越…

起源,机制与趋势,如何理解和定义城市大脑

前言:本文从城市大脑的起源背景,技术支撑,建设重点,服务对象和发展目标等多个角度,对城市大脑如何定义进行了分析和解读,提出:城市大脑是互联网大脑架构与智慧城市建设结合的产物,是…

DARPA举办AlphaDogfight决赛,AI 操控战斗机5:0战胜人类飞行员

来源:必达智库由美国国防部高级研究计划局(DARPA)举办的 “阿尔法狗决战试验”(AlphaDogfight)决赛当地时间8月20日于正式落下帷幕。最终,赫伦系统公司(Heron Systems)在虚拟空战中以…

A. PHP文件运行原理

转载于:https://www.cnblogs.com/youyuanjuyou/p/8099665.html

智源研究院首席科学家刘嘉:认知神经的未来发展规划是什么?

来源 | AI前线演讲嘉宾 | 刘嘉编辑 | 冬梅8 月 24 日,北京智源人工智能研究院在京举办了人工智能的认知神经基础发布会。会上,智源研究院发布了重大研究方向——“人工智能的认知神经基础”,以跨学科交叉方式进一步夯实人工智能的科学基础。…

最全数学各个分支简介

来源:算法数学俱乐部编辑 ∑Gemini数论人类从学会计数开始就一直和自然数打交道了,后来由于实践的需要,数的概念进一步扩充,自然数被叫做正整数,而把它们的相反数叫做负整数,介于正整数和负整数中间的中性数…

三大运营商集体为电费发愁,宣布“智能化关闭5G基站”,5G建设能省则省!

来源:卫星与网络何为“智能化关闭5G基站”本月初有消息称,中国联通洛阳分公司分别对已经入网的3种不同基站射频单元设备(AAU),分不同时段定时开启空载状态下的深度休眠功能,从而实现智能化基站设备能耗管控…

脑电传感器并不复杂,那精度呢?

来源:网络脑电传感器并不复杂,只是精度很难保证。本质上就是一个金属电极加上一个放大器(前置保护),主要是防止传输过程中电压发生改变。一、介绍脑电波(EEG)检测其实和在医院常见的心电图&…

前端智能化的加速时刻:华为机器视觉的创新方程式

来源:脑极体守林员小陈每天的工作,大部分时间都用来在林间巡逻,以便第一时间发现安全隐患。枯燥繁重的工作让年轻的他有点郁闷。有天他举着朋友圈里转发的文章问领导,听说有地方都能用AI来识别山火了,咱们啥时候能用上…