叶梓,上海交通大学计算机专业博士毕业,高级工程师。主研方向:数据挖掘、机器学习、人工智能。历任国内知名上市IT企业的AI技术总监、资深技术专家,市级行业大数据平台技术负责人。
长期负责城市信息化智能平台的建设工作,开展行业数据的智能化应用研发工作,牵头多个省级、市级行业智能化信息系统的建设,主持设计并搭建多个省级、市级行业大数据平台。参与国家级人工智能课题,牵头上海市级人工智能示范应用课题研究。
带领团队在相关行业领域研发多款人工智能创新产品,成功落地多项大数据、人工智能前沿项目,其中信息化智能平台项目曾荣获:“上海市信息技术优秀应用成果奖”。带领团队在参加国际NLP算法大赛,获得Top1%的成绩。参与国家级、省级大数据技术标准的制定,曾获省部级以上的科技创新一等奖。
ChatGPT等AI技术在医疗领域的应用
背景与基础知识
- 生成式人工智能(AIGC)概念
- ChatGPT历史与发展
ChatGPT在医疗科研领域的基础应用
- 基于ChatGPT的科研工作
- 用ChatGPT实现摘要、总结、综述
- 如何一小时之内编写一篇论文
- 提示词工程
ChatGPT模型背后的NLP基础知识
- 深度学习算法基础
- MLP与CNN、RNN
- 特殊字符、分词与停用词处理技术
- 词向量与Embedding
Transformer基础
- 需要的仅仅是“注意力”
- Transformer中的block
- 多头自注意力机制
- 位置编码
- 解码器的构造
- BERT与GPT等NLP模型
初代GPT
- 独角兽的威力
- GPT的内部架构
- 基于Transformer的改造
- 自注意力机制的改进
chatGPT的原理介绍
1、指示学习与InstructGPT
2、相关数据集
3、有监督微调(SFT)
4、从人类反馈中RL的思路
5、奖励建模(RM)
6、运用PPO改进
结合RAG框架的ChatGPT在医疗领域的应用
- 基于LangChain的医学知识问答
- 基于LangChain文献内容检索
学习LangChain所需的知识储备
1、词嵌入与语义空间
2、高维向量的快速模糊匹配
3、局部敏感哈希(LSH)
4、向量数据库
LangChain的原理
1、大模型利用的难点与痛点
2、Langchain的基本思路
3、关键组件
进阶的RAG技巧
1、分块与embedding
2、搜索索引
3、重排序与过滤
4、查询转换
基于微调训练的ChatGPT在医疗领域的应用
- ChatGPT用于问诊
- 基于ChatGPT开展流调工作
- 构建医疗领域的知识图谱
人工智能实验环境的搭建
- 机器学习环境与深度学习环境
- Python编程与数据科学工具库介绍
- GPU与cuda
- 深度学习框架:TensorFlow与PyTorch
机器学习进阶与评估
- 机器学习流程与特征工程
- 模型评估指标与交叉验证
- 可解释性分析在医学领域中的重要性
ChatGLM部署
1、ChatGLM3-6B介绍
2、ChatGLM3搭建流程
3、应用场景(工具调用、代码执行)
4、权重量化
ChatGLM3原理
1、Code Interpreter
2、多模态CogVLM
3、WebGLM搜索增强
微调大模型
1、基于chatGLM的微调
2、LoRA
3、Prefix Tuning
4、P-Tuning
5、Prompt Tuning
6、freeze
7、构建训练数据集
其他AI应用:医学图像、影像分析的实践
- 医学影像数据的预处理
- 处理医学影像数据(DICOM)
- AI在诊断前列腺肿瘤中的应用
- 智能化病理读片
- 自动实现血常规分析中细胞计数
医学图像、影像分析所需的人工智能知识
- 卷积神经网络(CNN)
- Alexnet
- 从VGG到GoogLenet
- 模型退化与ResNet
- DenseNet、efficientnet
- R-CNN
- SPPNET(全图卷积、SPP层)
- Fast-RCNN与Faster-RCNN