AI大模型

目录

前言

AGI通用人工智能

总结


前言

AI零基础直播公开课,了解一下。


AGI通用人工智能

query

chatmind.tech

找一下这篇论文,了解一下

E为编码器,D为解码器

所谓大模型也就是编码器-解码器。

模型里会有一些公式和参数,厉害的模型是参数比较靠谱。

所谓的机器学习训练模型就是去调整参数(这里之前我好像弄过一个预测模型,确实如此)。

GPT3.5有1750亿个参数。

Google这篇论文很好:

        1.它的编码器和解码器的结构让事情变简单了,参数变少。里面有个K矩阵,二维数组,类似于空间字典的作用。

        2.它的注意力机制,也就是权重问题,V矩阵,数值记录权重。这里的多投自注意力机制,也就是机器自己学习找到语义。

很多人工智能工程师更多是处理某些特定场景,距离agi也就是通用性的AI。

CV已死?算法工程师很多时候是给机器做助理工作的,比如视觉工程师,先预处理,边缘提取等等,就是给机器找权重,自注意力机制(transformer的基础)能跨语言到视觉等的多模态,提取比较重要的东西,所以视觉工程师可能会更早的失业。

技术分层:

1、指令工程,总结和大模型对话的讨论方法;AI编程,AI自动化测试

2、向量数据库,向量检索,autoGPT,github copolit等,场景比较广泛

3、fine-tune,自有数据对模型进行精调,比较难。

下面是fine-tune的原理图(来源于ChatGPT3.5论文)

第一步,雇了很多标注师,一问一答,进行模型精调(参数精调),教授知识。

第二步和第三步反复循环,调教“大脑”。RLHF,强化学习,人类反馈(human feelback这个很重要)。

midjourney可以试试。

之后试试二次开发哈哈哈哈。三万三千条rlhf就能做一轮fine-tune。

在openai上能直接做fine-tune。但是由于有墙,国内不会用这个。(还有数据泄露的风险)

可以选择一些开源的模型,智谱华章的ChatGLM还有Facebook的LLaMA 7B。

这个人的羊驼,他只用了70亿的参数。

可以用阿里云做二次开发。低成本且高效。

公司比较缺大模型产品方案,比较重要:

1、畅想的场景什么比较靠谱

2、靠谱的场景需要什么技术(上面说到的技术)

3、能实践的效果

4.成本

5.数据整理,什么好数据等数据过滤

6.需要什么框架进行fine-tune

7.需要几轮,多长时间

8.性能效果,最后效果

9.商业化,投产比。


总结

主要是想了解一下大模型。后续去GitHub上看看chatALL.ai吧,感兴趣就多去了解下大模型。还有一个重要收获是我现在正在搞CV啊,太难受了,太难受了,或许激光雷达或者GPSins方向是可以深耕的,加油吧,早日毕业。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/583252.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

go 源码解读 sync.RWMutex

sync.RWMutex 简介源码结构RLockRUnlockUnlockgo 运行时方法 简介 简述sync包中读写锁的源码。 (go -version 1.21) 读写锁(RWMutex)是一种并发控制机制,用于在多个 goroutine 之间对共享资源进行读写操作。它提供了…

浅谈WPF之控件模板Control Template和数据模板Data Template

WPF不仅支持传统的Windows Forms编程的用户界面和用户体验设计,同时还推出了以模板为核心的新一代设计理念。在WPF中,通过引入模板,将数据和算法的“内容”和“形式”进行解耦。模板主要分为两大类:数据模板【Data Template】和控…

C语言——数据类型

一、基本类型: 它们是构建其他数据类型的基础。 1、整型 用于表示整数。例如,int a 10; 整形中又有许多类型: 类型大小范围int2 或 4 字节-32,768 到 32,767 或 -2,147,483,648 到 2,147,483,647unsigned int2 或 4 字节0 到 65,535 或…

【zookeeper分布式锁】

文章目录 1.Zookeeper 分布式锁实战 1.Zookeeper 分布式锁实战 1.1 什么是分布式锁 在单体的应用开发场景中涉及并发同步的时候,大家往往采用Synchronized(同步)或者其他同一个 JVM内Lock机制来解决多线程间的同步问题。在分布式集群工作的开…

《MySQL系列-InnoDB引擎01》MySQL体系结构和存储引擎

文章目录 第一章 MySQL体系结构和存储引擎1 数据库和实例2 MySQL配置文件3 MySQL数据库路径4 MySQL体系结构5 MySQL存储引擎5.1 InnoDB存储引擎5.2 MyISAM存储引擎5.3 NDB存储引擎5.4 Memory存储引擎5.5 Archive存储引擎5.6 Federated存储引擎 6 连接MySQL6.1 TCP/IP6.2 命名管…

关于“Python”的核心知识点整理大全48

目录 world_population.py 16.2.5 制作世界地图 americas.py 16.2.6 在世界地图上呈现数字数据 na_populations.py 16.2.7 绘制完整的世界人口地图 world_population.py 16.2.8 根据人口数量将国家分组 world_population.py 16.2.9 使用 Pygal 设置世界地图的样式 w…

ubuntu快速搭建java开发环境/java1.8/idea2021.1.3/mysql/doceker

当设置Java开发环境时,确保先安装Java Development Kit (JDK) 8、IntelliJ IDEA 2021.1.3专业版、Maven、Git、MySQL和Docker。以下是Ubuntu上安装这些工具的基本步骤: 1. 安装Java Development Kit (JDK) 8: 首先,更新APT软件包…

Presentation Error:编程中的细节之战

Presentation Error:编程中的细节之战 大家好,我是免费搭建查券返利机器人赚佣金就用微赚淘客系统3.0的小编,也是冬天不穿秋裤,天冷也要风度的程序猿!今天,让我们一起探讨在程序设计和编程中常见的问题之一…

PECL 到 LVPECL 的接口使用交流耦合或 3 电阻端接。采用交流耦合作热拔插时需注意防止因电容积累电荷放电导致器件损伤

交流耦合的必要性 PECL和LVPECL信号是差分信号,设计成具有一定的直流偏置电压。这种直流偏置电压在不同的设备或电路板之间可能会有所不同,直接连接可能导致直流偏置电平的冲突,从而损坏器件或影响信号完整性。交流耦合通过串联电容来隔离直流成分,只允许交流信号通过,从而…

web安全,常见的攻击以及如何防御

1、CSRF攻击 CSRF即Cross-site request forgery(跨站请求伪造) &#xff08;1&#xff09;为了防止这种攻击&#xff0c;表单一般都带有一个随机 token&#xff0c;告诉服务器这是真实请求。 <form action"your-bank.com/transfer" method"POST">&…

docker小白第九天

docker小白第九天 安装redis集群 cluster(集群)模式-docker版本&#xff0c;哈希槽分区进行亿级数据存储。如果1~2亿条数据需要缓存&#xff0c;请问如何设计这个存储案例。单机存储是不可能的&#xff0c;需要分布式存储&#xff0c;如果使用redis又该如何部署。 哈希取余分…

5-Docker实例-centos-nginx(3)

基于上次制作的centos-systemctl:1.0镜像,在其上安装nginx rpm,并构建nginx镜像。 1.制作nginx Dockerfile,并保存 命令: vim Dockerfile FROM centos-systemctl:1.0 MAINTAINER ztjCOPY nginx.repo /etc/yum.repos.d/ COPY epel.repo /etc/yum.repos.d/ COPY epel-tes…

数据结构——红黑树 and B-树

红黑树 根据平衡条件第4、5两点 最短路径&#xff0c;都是黑色 最长路径&#xff0c;红黑相间 最长是最短的两倍 B-树

Linux jed命令教程:如何有效地使用jed编辑器(附实例教程和注意事项)

Linux jed命令介绍 jed是一个可定制的文本编辑器&#xff0c;它在各种平台上都有应用&#xff0c;包括Linux、Windows、macOS等&#xff0c;但主要用于类Unix系统。jed特别适合用来编辑程序原始代码。 Linux jed命令适用的Linux版本 在Linux上&#xff0c;你的发行版的软件仓…

k8s-cni网络 10

Flannel vxlan模式跨主机通信原理 在同一个节点上的pod 流量通过cni网桥可以直接进行转发&#xff1b; 在需要跨主机访问时&#xff0c;数据包通过flannel(隧道) 知道另一边的mac地址&#xff0c;就可以拿到另一边的ip地址&#xff0c;然后构建常规的以太网数据包&#xff0c;…

QT+OSG/osgEarth编译之六十二:bsp+Qt编译(一套代码、一套框架,跨平台编译,版本:OSG-3.6.5插件库osgdb_ac)

目录 1、bsp介绍 2、文件分析 3、pro文件 4、编译实践 1、bsp介绍 BSP文件是使用Quake游戏引擎开发的游戏所使用的地图文件,它包含关卡地图的布局信息、对象和资源。许多著名的游戏都使用BSP地图文件,包括《雷神之锤》系列、《半条命》系列、《反恐精英》(CS)系列和《使…

HTML中img图片进行等比例缩放的实例代码

img图片等比例缩放的方法 HTML中&#xff0c;要修改img元素定义的图片的大小&#xff0c;且是等比例缩放&#xff0c;不改变宽和高的比值&#xff0c;那么可以采用只设置img元素属性中width和height中的任何一个&#xff0c;不要同时设置两个即可实现img图片的等比例缩放效果。…

泛目录是干什么用的蚂蚁seo泛程序

泛目录是干什么用的蚂蚁seo泛程序目录 泛目录是一种常见的网站优化方法&#xff0c;属于黑帽技术的一种。它的核心原理是利用高权重的网站继承目录&#xff0c;然后快速获得收录与排名。这种方法可以帮助网站在搜索引擎中获得更好的排名&#xff0c;从而吸引更多的流量。 泛目…

python字符串编码解码基础知识

python字符串编码解码基础知识 python通过ord©获取字符c的unicode的编码值&#xff0c;为整数。通过chr(i)获取i对应的unicode的字符。通过str.encode()将字符串编码为原始字节&#xff0c;b.decode()将原始字节解码为字符串。 1 字符串基础知识 python通过ord©获…

白话机器学习的数学-1-回归

1、设置问题 投入的广告费越多&#xff0c;广告的点击量就越高&#xff0c;进而带来访问数的增加。 2、定义模型 定义一个函数&#xff1a;一次函数 y ax b &#xff08;a 是斜率、b 是截距&#xff09; 定义函数&#xff1a; 3、最小二乘法 例子&#xff1a; 用随便确定的参…