大数据讲座

大数据建模、分析、挖掘技术应用研修班的通知

随着2015年9月国务院发布了《关于印发促进大数据发展行动纲要的通知》,各类型数据呈现出了指数级增长,数据成了每个组织的命脉。今天所产生的数据比过去几年所产生的数据大好几个数量级,企业有了能够轻松访问和分析数据以提高性能的新机会,如何从数据中获取价值显得尤为重要,也是大数据相关技术急需要解决的问题。大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。数据建模不仅仅是任意组织数据结构和关系,还必须与最终用户的需求和问题联系起来,并提供指导,帮助确保正确的数据正确使用正确的方法获得正确的结果。
为响应科研及工作人员需求,根据《国务院关于推行终身职业技能培训制度的意见》提出的“紧跟新技术、新职业发展变化,建立职业分类动态调整机制,加快职业标准开发工作”要求,特举办“大数据建模、分析、挖掘技术应用研修班”。本次培训采用实战培训模式。

2022年3月10日 — 2022年3月14日   北京(同时转线上直播)
联系人:任老师  13331040142

一、大数据概述
1.大数据及特点分析
2.大数据关健技术
3.大数据计算模式
4.大数据应用实例


二、大数据处理架构Hadoop
1.Hadoop项目结构
2.Hadoop安装与使用
3.Hadoop集群的部署与使用
4.Hadoop 代表性组件


三、分布式文件系统HDFS
1.HDFS体系结构
2.HDFS存储
3.HDFS数据读写过程


四、分布式数据库HBase
1.HBase访问接口
2.HBase数据类型
3.HBase实现原理
4.HBase运行机制
5.HBase应用


五、MapReduce
1.MapReduce体系结构
2.MapReduce工作流程
3.资源管理调度框架YARN 
4.MapReduce应用

六、Spark
1.Spark生态与运行架构
2.Spark SQL
3.Spark部署与应用方式
案例:
1.Python Spark 安装
2.本地运行pyspark程序
3.在Hadoop YARN 运行pyspark
4.Spark Web UI


七、IPython Notebook运行Python Spark程序
1.Anaconda
2.IPython Notebook使用Spark
3.使用IPython Notebook在Hadoop YARN模式运行
案例:
1.在不同模式运行IPython Notebook运行Python Spark命令
2.Python 程序开发

八、Python Spark集成开发环境
1.Python Spark集成开发环境部署配置
2.Spark数据分析库MLlib的开发部署

九、Python Spark决策树二分类与多分类
1.决策树原理
2.大数据问题
3.决策树二分类
4.决策树多分类
案例:
1.搜集数据
2.数据准备:导入并转换数据、提取特征字段、提取标签
3. Python Spark建模,训练模型 
4.预测数据
5.评估数据,给出评价指标并得到评估结果


十、Python Spark支持向量机
1.支持向量机SVM 原理与算法
2.Python Spark SVM程序设计
案例:
1.数据准备
2.建立SVM模型,训练模型 
3.评估参数并找出最优参数
4.根据模型进行预测


十一、Python Spark 贝叶斯模型 
1.朴素贝叶斯模型原理
2.Python Spark贝叶斯模型程序设计
案例:
1.建模贝叶斯模型,并进行对参数估计
2.训练模型,得到最优参数
3.根据模型进行预测


十二、Python Spark逻辑回归
1.逻辑回归原理
2.Python Spark逻辑回归程序设计
案例:
1.Python Spark逻辑回归建模
2.根据模型进行分类


十三、Python Spark回归分析
1.大数据分析
2.数据集介绍
3.Python Spark回归程序设计
案例:
1.数据准备
2.训练回归模型
3.建立评估指标
4.训练回归模型,并找到最优参数
5.根据模型进行预测


十四、Spark ML Pipeline 机器学习流程分类
1.机器学习流程组件:StringIndexer、OneHotEncoder、VectorAssembler等
2.使用Spark ML Pipeline 机器学习流程分类程序设计
案例:
1.数据准备
2.建立机器学习Pipeline流程
3.使用Pipeline流程训练
4.使用PipelineModel预测
5.评估模型准备率
关注微信公众号:人工智能技术与咨询。了解更多咨询!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/481744.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【前沿技术】270多起车祸,特斯拉Autopilot和自动驾驶被诉虚假宣传

来源:智能研究院「虚假的自动驾驶」(fake self driving),一名网友这样评论道。在自动驾驶领域,特斯拉依靠其 Autopilot 成为业界追赶的标杆。但有时,特斯拉在产品和功能宣传时并不是那么地实事求是。近日&a…

面向区块链的高效物化视图维护和可信查询

面向区块链的高效物化视图维护和可信查询 人工智能技术与咨询 来源:《软件学报》 ,作者蔡 磊等 摘 要:区块链具有去中心化、不可篡改和可追溯等特性,可应用于金融、物流等诸多行业.由于所有交易数据按照交易时间顺序存储在各个区块,相同类型的交易数据…

合力远洋候国军:Web3.0的机遇与挑战

2022年8月6日, 中国指挥与控制学会CICC)“百名专家、百场讲座”第九讲邀请到合力远洋候国军做了主题为Web3.0的机遇与挑战“”的学术讲座。本次讲座也是CICC城市大脑专委会组织的第二期城市大脑系列学术报告。在报告中,候国军师深入解析了什么是Web3.0以…

时间约束的实体解析中记录对排序研究

时间约束的实体解析中记录对排序研究 人工智能技术与咨询 来源:《软件学报》 ,作者孙琛琛等 摘 要:实体解析是数据集成和数据清洗的重要组成部分,也是大数据分析与挖掘的必要预处理步骤.传统的批处理式实体解析的整体运行时间较长,无法满足当前(近似)…

中国自动驾驶政策全球领跑,两城率先开展全无人商业运营

来源:环球时报日前重庆、武汉两地政府部门率先发布自动驾驶全无人商业化试点政策,并向百度发放全国首批无人化示范运营资格,允许车内无安全员的自动驾驶车辆在社会道路上开展商业化服务。此次政策落地,标志着重庆、武汉两地居民将…

基于时空相关属性模型的公交到站时间预测算法

基于时空相关属性模型的公交到站时间预测算法 人工智能技术与咨询 来源:《软件学报》 ,作者赖永炫等 摘 要:公交车辆到站时间的预测是公交调度辅助决策系统的重要依据,可帮助调度员及时发现晚点车辆,并做出合理的调度决策.然而,公交到站时间受交通拥堵…

眼见不一定为实,你的大脑是怎么被骗的?

来源:中科院物理所作者:Meisa Salaita翻译:Nuor审校:zhenni编辑:藏痴原文链接:How Optical Illusions Work1870年,卢迪玛赫尔曼(Ludimar Hermann)首次发现了赫尔曼栅格错…

基于迁移深度学习的雷达信号分选识别

基于迁移深度学习的雷达信号分选识别 人工智能技术与咨询 来源:《软件学报》 ,作者王功明等 摘要: 针对当前雷达信号分选识别算法普遍存在的低信噪比下识别能力差、特征参数提取困难、分类器模型参数复杂等问题,提出了一种基于时频分析、深…

量子计算机即将问世。这对网络安全意味着什么?

来源:IEEE电气电子工程师主流量子计算可能还有几十年的时间,但其破解加密的能力意味着研究人员现在正在研究如何提高量子时代的安全性。现代计算机从根本上改变了人们的日常生活,且每天都在变得更加强大。你现在正在用来阅读这篇文章的智能手…

Demis Hassabis:AI 的强大,超乎我们的想象

有人认为 AI 已经穷途末路,但一些绝顶聪明的人还在继续求索。来源:AI科技评论整理:黄楠、王玥编辑:陈彩娴近日,DeepMind 的创始人 Demis Hassabis 作客 Lex Fridman 的播客节目,谈了许多有趣的观点。在访谈…

某型无人机群的监视覆盖任务航路规划

某型无人机群的监视覆盖任务航路规划 人工智能技术与咨询 来源:《计算机科学与应用》 ,作者冷雄晖等 关键词: 无人机群;监视覆盖航路规划;遗传算法;人工势场法;UAV Group; Surveillance Cove…

马库斯发文炮轰LeCun:只靠深度学习无法实现类人智能

来源:新智元编辑:Joey 桃子【新智元导读】继提出「深度学习撞墙」后,马库斯再发长文称,仅靠深度学习并不能实现类人智能。今年3月,Gary Marcus(加里马库斯)提出「深度学习撞墙」这个观点后&…

基于改进遗传算法的无人机搜索路径规划的研究

基于改进遗传算法的无人机搜索路径规划的研究 人工智能技术与咨询 作者刘江阳等 关键词: 遗传算法;无人机搜索;路径规划;Genetic Algorithms;UAV Search;Route Planning 摘要: 本文针对无人机搜索目标时移动速度的大…

一种改进的高光谱图像CEM目标检测算法

一种改进的高光谱图像CEM目标检测算法 人工智能技术与咨询 来源:《 应用物理》 ,作者付铜铜等 关键词: 高光谱图像;光谱重排;CEM算法;目标检测; 摘要: 约束能量最小化(Constrained Energy Minimizatio…

从生命起源到流行病:复杂系统中的多尺度涌现现象

来源:集智俱乐部 撰文:Oriol Artime, Manlio De Domenico翻译:梁栋栋、梁金涌现是复杂系统的基本特征,从微观到宏观的各个尺度,涌现现象普遍存在。然而,涌现是什么,目前仍没有公认的严格定义。2…

基于深度学习的磁环表面缺陷检测算法

基于深度学习的磁环表面缺陷检测算法 人工智能技术与咨询 来源:《 人工智能与机器人研究》 ,作者罗菁等 关键词: 缺陷检测;深度学习;磁环;YOLOv3; 摘要: 在磁环的生产制造过程中,常常由于生…

突发!美国新增四项技术出口限制,三项涉及半导体

来源:芯师爷8月12日,当地时间周五,美国商务部工业与安全局(BIS)在联邦公报上披露了一项出口限制加码的临时最终决定,将四项“新兴和基础技术”加入出口管制清单,其中三项涉及半导体。&#xff0…

深度学习在轨迹数据挖掘中的应用研究综述

深度学习在轨迹数据挖掘中的应用研究综述 人工智能技术与咨询 来源:《 计算机科学与应用》 ,作者李旭娟等 关键词: 深度学习;数据挖掘;轨迹挖掘;长短时记忆;序列到序列 摘要: 在过去十年,深度…

专访 | 吴志强院士:CIM与城市未来

来源:超图集团、数字孪生与未来城市撰写:采访/撰文 刘宏恺本文刊登于2021年7月第74期《超图通讯》采访/撰文 刘宏恺超图集团助理总裁、《超图通讯》总编▲吴志强:博士,教授,中国工程院院士,德国工程科学院…

基于深度学习技术的电表大数据检测系统

基于深度学习技术的电表大数据检测系统 人工智能技术与咨询 来源:《 人工智能与机器人研究》 ,作者方向 关键词: 智能电表;数据分析;深度学习时序模型; 摘要: 随着我国电厂不断发展,我国智能电表装机量…