爆火!开源多模态大模型在手机端进行本地部署!

节前,我们组织了一场算法岗技术&面试讨论会,邀请了一些互联网大厂朋友、今年参加社招和校招面试的同学。

针对大模型& AIGC 技术趋势、大模型& AIGC 落地项目经验分享、新手如何入门算法岗、该如何准备面试攻略、面试常考点等热门话题进行了深入的讨论。

总结链接如下:

《AIGC 面试宝典》(2024版) 正式发布!

喜欢记得点赞、收藏、关注。更多技术交流&面经学习,可以文末加入我们。


大家好,今天继续聊聊科技圈发生的那些事。

一、MiniCPM-V

我们能把 GPT 本地部署到手机上了!不是用 API,而是完全本地化!

图片

MiniCPM-V,这是一款端侧可用的 GPT-4V 级多模态大模型。MiniCPM 是一个大系列的模型,通常来说,大模型都是部署在服务器上,或是 PC 本地部署的。而 MiniCPM 将大模型部署到了手机上!(当然,苹果手机肯定是用不了的)

图片

系列有两个值得关注的模型,一个是 MiniCPM,一个是 MiniCPM-V,二者的区别主要在于,MiniCPM-V 侧重于图像处理。而今天我们分享的内容,主要关于 MiniCPM-V。

对于这样一款侧重图像分析的模型,我们只需要提供一张图片作为输入,再提供一些文本指示需要根据图片生成的内容,模型就会在很快的时间内提供输出。比如,你可以让它帮你把图片中的内容转成 Markdown 格式,或是分析图上讲了什么。

图片

MiniCPM-V 拥有超级优秀的 OCR 能力。MiniCPM-Llama3-V 2.5 可接受 180 万像素的任意宽高比图像输入,在OCRBench 得分达到 725,超越 GPT-4o、GPT-4V、Gemini Pro、Qwen-VL-Max 等商用闭源模型,遥遥领先!

图片

借助最新的 RLAIF-V 对齐技术,MiniCPM-Llama3-V 2.5 具有更加可信的多模态行为,幻觉率已经显著低于 GPT-4V-1106,来到了开源模型的 TOP1 宝座。

图片

无论你使用的是 Windows、Mac 还是手机,MiniCPM-V 都能兼容你的设备提供本地部署方案。当然,Huggingface 的在线体验 demo 也已经发布。感兴趣的小伙伴,可以根据条件自行试试。

在线体验地址:

https://huggingface.co/spaces/openbmb/MiniCPM-V-2

项目地址:

https://github.com/OpenBMB/MiniCPM-V

二、VirtualWife

VirtualWife,虚拟老婆?一个令人激动,又有一点害羞的名字,事实上,这是一款虚拟数字人项目。基于 Python 开发,运用了自然语言处理(NLP)和机器学习技术,你可以创建属于自己的 AI 伴侣。

不知道大家是否有了解过前些年大火的游戏《主播女孩重度依赖》?在游戏中,玩家作为男友陪伴患有心理疾病的主播女友,不断攻略发展,最终走向不同的结局。

图片

即使拥有20多种不同的结局和拉满的小细节,游戏的内容始终是人们设定好的。现在,VirtualWife 项目可以让我们真正的实现虚拟伴侣,不再是类似 Galgame 的交互,而是配合人工智能技术,实现你本人“私人订制”的伴侣。

图片

实现 VirtualWife 的核心是 NLP 技术。NLP 即 Natural language processing,自然语言处理。这使得 AI 可以通过自然语言输入进行语义的理解和分析,并且能给出相应的输出。同时,随着交互越来越深入,VirtualWife 会通过持续的学习,生成更具个性化的回复。

于是,经过一段时间的培养,一个可以陪伴你日常生活,听你倾诉,有问必答的虚拟伴侣就诞生了。下至生活琐碎,上至天文地理,对你的 VirtualWife 来说都不在话下。

如果你愿意的话,通过 VirtualWife 创造的虚拟伴侣可以支持B站直播,你可以在直播间的弹幕里发信息,它会像一个真正的虚拟主播一般回复你。

图片

项目通过 Docker 部署,项目主页上也有很完整的部署教程,感兴趣的小伙伴可以自行体验一下。

项目地址:

https://github.com/yakami129/VirtualWife

好了,本期的内容就是这么多,我们下期再见!

技术交流&资料

技术要学会分享、交流,不建议闭门造车。一个人可以走的很快、一堆人可以走的更远。

成立了算法面试和技术交流群,相关资料、技术交流&答疑,均可加我们的交流群获取,群友已超过2000人,添加时最好的备注方式为:来源+兴趣方向,方便找到志同道合的朋友。

方式①、微信搜索公众号:机器学习社区,后台回复:加群
方式②、添加微信号:mlc2040,备注:来自CSDN + 技术交流

通俗易懂讲解大模型系列

  • 重磅消息!《大模型面试宝典》(2024版) 正式发布!

  • 重磅消息!《大模型实战宝典》(2024版) 正式发布!

  • 做大模型也有1年多了,聊聊这段时间的感悟!

  • 用通俗易懂的方式讲解:大模型算法工程师最全面试题汇总

  • 用通俗易懂的方式讲解:不要再苦苦寻觅了!AI 大模型面试指南(含答案)的最全总结来了!

  • 用通俗易懂的方式讲解:我的大模型岗位面试总结:共24家,9个offer

  • 用通俗易懂的方式讲解:大模型 RAG 在 LangChain 中的应用实战

  • 用通俗易懂的方式讲解:ChatGPT 开放的多模态的DALL-E 3功能,好玩到停不下来!

  • 用通俗易懂的方式讲解:基于扩散模型(Diffusion),文生图 AnyText 的效果太棒了

  • 用通俗易懂的方式讲解:在 CPU 服务器上部署 ChatGLM3-6B 模型

  • 用通俗易懂的方式讲解:ChatGLM3-6B 部署指南

  • 用通俗易懂的方式讲解:使用 LangChain 封装自定义的 LLM,太棒了

  • 用通俗易懂的方式讲解:基于 Langchain 和 ChatChat 部署本地知识库问答系统

  • 用通俗易懂的方式讲解:Llama2 部署讲解及试用方式

  • 用通俗易懂的方式讲解:一份保姆级的 Stable Diffusion 部署教程,开启你的炼丹之路

  • 用通俗易懂的方式讲解:LlamaIndex 官方发布高清大图,纵览高级 RAG技术

  • 用通俗易懂的方式讲解:为什么大模型 Advanced RAG 方法对于AI的未来至关重要?

  • 用通俗易懂的方式讲解:基于 Langchain 框架,利用 MongoDB 矢量搜索实现大模型 RAG 高级检索方法

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/13722.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

二叉树遍历操作详解

目录 一、思路详解 1.1 递归思路 1.2 递归分支图 1.3 递归栈帧图 二、C语言实现 2.1 前序遍历 2.2 中序遍历 2.3 后序遍历 三、查找值为x的结点 3.1 递归思路 3.2 C语言代码 一、思路详解 采用递归的思想解决问题,以高度为3的满二叉树为例。 1.1 递归思…

mqtt flutter web项目websocket

mqtt flutter web项目websocket 在网上找相关的代码学习,太少了,自己借鉴研究了一个 pubspec.yaml添加引用包 dependencies: flutter: sdk: flutter fast_gbk: 1.0.0 mqtt_client: ^10.2.0 mqtt代码: import package:mqtt_client/mqtt…

ClickHouse 几年内数据查询及细节

在 ClickHouse 中,查询三年内的时间数据可以使用以下方法: 1. 使用日期函数 可以使用 ClickHouse 支持的日期函数来筛选出三年内的数据。例如,使用 today() 函数获取当天日期,使用 toDate() 函数将日期转换为指定格式&#xff0…

【C++】学习笔记——map和set

文章目录 十五、map和set1. 关联式容器2. set的介绍3. set的使用4. multiset5. map的介绍6. map的使用7. multimap8. map中重载的operator[] 未完待续 十五、map和set 1. 关联式容器 我们已经接触过STL中的部分容器,比如:vector 、list 、deque 等&…

Golang | Leetcode Golang题解之第99题恢复二叉搜索树

题目: 题解: func recoverTree(root *TreeNode) {var x, y, pred, predecessor *TreeNodefor root ! nil {if root.Left ! nil {// predecessor 节点就是当前 root 节点向左走一步,然后一直向右走至无法走为止predecessor root.Leftfor pr…

《数组逆序输出》

描述 编写程序,输入10个整数n存入,再按逆序重新存放后再输出。 输入描述 输入共10个数。 输出描述 输出共1行,每个数字用空格隔开。 样例输入 1 -5 -4 -3 -2 -1 0 1 2 3 4 样例输出 1 4 3 2 1 0 -1 -2 -3 -4 -5 提示 对于100%的数据…

OpenHarmony开发之MQTT讲解

相信MQTT这个名称大家都不陌生,物联网的开发必然会遇到MQTT相关知识的应用。那么什么是MQTT?它有什么特点?它能解决什么问题?它是如何工作的?OpenAtom OpenHarmony(以下简称“OpenHarmony”)的物…

前端基础入门三大核心之HTML篇:网页基础配置全解密

前端基础入门三大核心之HTML篇:网页基础配置全解密 一、HTML文档的基本结构1.1 文档类型声明1.2 HTML标签结构 二、头部元数据配置2.1 字符集声明2.2 视口设置2.3 标题定义 三、网页结构布局3.1 基本元素段落标题列表 3.2 链接与图像链接图像 3.3 分区与布局使用Div…

简单快捷的图片格式转换工具:认识webp2jpg-online

经常写博客或记笔记的朋友们可能会碰到图床不支持的图片格式或图片太大需要压缩的情况。通常,我们会在浏览器中搜索在线图片格式转换器,但这些转换器往往伴有烦人的广告或要求登录,并且支持的转换格式有限。最近,我在浏览 GitHub …

hls.js实现分片播放视频

前言&#xff1a;hls.js官网&#xff1a;hls.js - npm 一、demo——在HTML中使用 <audio id"audio" controls></audio><script src"https://cdn.jsdelivr.net/npm/hls.jslatest"></script> <script>document.addEventList…

upload-labs 通关方法

目录 Less-1&#xff08;JS前端验证&#xff09; Less-2&#xff08;MIME验证&#xff09; Less-3&#xff08;黑名单&#xff0c;特殊过滤&#xff09; Less-4&#xff08;黑名单验证&#xff0c;.htaccess&#xff09; Less-5&#xff08;黑名单&#xff0c;点空格点绕过…

Qt | QCalendarWidget 类(日历)

01、QCalendarWidget 类 1、QCalendarWidget 类是 QWidget 的直接子类,该类用于日历,见下图 02、QCalendarWidget 属性 ①、dateEditAcceptDelay:int 访问函数:int dateEditAcceptDelay()const; void setDateEditAcceptDelay(int) 获取和设置日期编辑器的延迟时间(以毫秒…

给树莓派配置静态IP地址

第一步&#xff1a;查找默认网关 打开windowr&#xff1b;输入cmd&#xff0c; 输入 最后一行就是默认网关 ipconfig第二步&#xff1a;确定分配好给树莓派的IP地址 要注意&#xff1a;&#xff08;1&#xff09;静态ip地址与路由器网段保持一致&#xff08;2&#xff09;与…

将.webp图片格式转化为.jpg并放大到a4纸大小

引用-》管理NuGet程序包-》搜索GroupDocs.Conversion&#xff0c;安装上这个 核心代码 var dir1 System.IO.Path.GetDirectoryName(path1);var file1 System.IO.Path.GetFileNameWithoutExtension(path1);var full_path1 System.IO.Path.Combine(dir1, file1 ".jpg&qu…

xjoi题库一级一段题解(c语言版)

题目描述&#xff1a; 请你自行编写程序&#xff0c;输出“I LOVE OI.”&#xff08;不包括引号&#xff09;&#xff0c;请注意细节处&#xff0c;如大小写&#xff0c;句号等。 输入格式&#xff1a; 无输入 输出格式&#xff1a; I LOVE OI. 样例输入&#xff1a; 无输入 样…

Oracle23ai新特性SCHEMA级授权

Oracle23ai新特性SCHEMA级授权 1、需求简介 Oracle23ai之前的版本&#xff0c;想要实现一个用户可以访问另一个用户下的所有表&#xff0c;需要把该用户下所有的表的访问权限依次授权给该用户。这一方式存在的问题是&#xff0c;每当源端用户新创建一个表时&#xff0c;还需要…

[个人笔记] 记录CentOS7构建docker-ce的过程

容器技术 第一章 记录CentOS7构建docker-ce的过程 容器技术记录CentOS7构建docker-ce的过程CentOS 7.9基础配置centos配置网络连接, sshd, hostname, yum包更新sdb硬盘配置lvm部署docker之前, 优化centos的默认参数docker底层原理安装docker-ce社区版验证docker-ce是否正常运行…

压缩设备液压控制比例放大器

液压比例阀放大器是液压控制系统中的重要部件之一&#xff0c;用于控制输出油压方向流量和压力的精确控制。它由BEUEC比例放大器和比例电磁阀组成&#xff0c;通过调节比例放大器的增益和灵敏度参数&#xff0c;可以实现对液压系统输出油压方向流量和压力的精确控制。适用于各种…

动态IP与静态IP有什么区别?如何选择?

动态IP和静态IP都是指网络设备&#xff08;如计算机、服务器、路由器等&#xff09;在互联网上分配的IP地址的类型。 一、什么是动态IP&#xff0c;什么是静态IP&#xff1f; 1、什么是动态IP&#xff1f; 动态IP是指由Internet服务提供商&#xff08;ISP&#xff09;动态分配…

关于linux的防护,以及群集你要知道的有哪些8-使用Haproxy搭建web群集

1、Haproxy&#xff0c;LVS、Ningx三个调度器的区别&#xff1a; LVS性能最好&#xff0c;但是搭建相对复杂 Nginx的upstream模块支持群集功能&#xff0c;但是对群集节点健康检查功能不强&#xff0c;性能没有Haproxy好 2、HTTP的请求方式 GET方式 POST方式 3、返回状态码 正…