降本增效及大模型优化调研总结[小工蚁视频调研]

可用需求1：可用于大模型优化的技术

最强长上下文Text Embedding 开源模型M2-BERT-小工蚁创始人-小工蚁创始人-哔哩哔哩视频 (bilibili.com)

疑问：和Text2vec或sentence2vec的区别，谁更好？

智谱AI GLM4和InternLM2国产大语言模型更新迭代 #小工蚁-小工蚁创始人-小工蚁创始人-哔哩哔哩视频 (bilibili.com)

Glm4可调研

国产首个开源MoE大模型DeepSeekMoE 16B #小工蚁-小工蚁创始人-小工蚁创始人-哔哩哔哩视频 (bilibili.com)

模型号称数学和代码能力碾压LLama2?

Unsloth微调LLM训练更快2～5倍 GPU显存省50% #小工蚁-小工蚁创始人-小工蚁创始人-哔哩哔哩视频 (bilibili.com)

若可行，可提高Gpu使用率，可后续调研

训练大语言模型LLM 如何定义自己训练数据集？#小工蚁-小工蚁创始人-小工蚁创始人-哔哩哔哩视频 (bilibili.com)

不知道是否能否有效提高LLM效果，可以后续按此实现下

如何将GPU切片运行多个实体？Multi-Instance GPU #小工蚁-小工蚁创始人-小工蚁创始人-哔哩哔哩视频 (bilibili.com)

可验证是否可用于NSTL但A100GPU单卡部署多个实体

合并同源模型权重获得新能力，阿里开源DARE算法 #小工蚁-小工蚁创始人-小工蚁创始人-哔哩哔哩视频 (bilibili.com)

可验证是否能够用于NSTL多场景合并效果。

中文大语言模型如何评估？ C-Eval演示使用 #小工蚁-小工蚁创始人-小工蚁创始人-哔哩哔哩视频 (bilibili.com)

也采用此种方式评估大模型好坏，不过具体场景还需要结合具体场景数据验证

如何评估量化后大语言模型？对比14B量化和7B模型哪个好？#小工蚁-小工蚁创始人-小工蚁创始人-哔哩哔哩视频 (bilibili.com)

采用人工问答的方式评估大模型的基础能力，于此量化不太相同，可参考验证下

Docker容器中运行大语言模型 推理加速，使用更简便-小工蚁创始人-小工蚁创始人-哔哩哔哩视频 (bilibili.com)

当前推理仅需部署好环境就行，因此需要对比看下两者那种更好。

微调大语言模型如何自动生成 训练数据以及优化技巧-小工蚁创始人-小工蚁创始人-哔哩哔哩视频 (bilibili.com)

可具体学习下是否可用

如何让清华ChatGLM2-6b模型推理性能提升20倍？ #小工蚁 #chatglm2-小工蚁创始人-小工蚁创始人-哔哩哔哩视频 (bilibili.com)

再用glm-6b，具体需要我实验实验

M3E中文文本嵌入模型：替代OpenAI text-embedding-ada-002的最佳选择-小工蚁创始人-小工蚁创始人-哔哩哔哩视频 (bilibili.com)

TGI让Huggingface Transformer推理速度提升10倍，本地演示 #小工蚁 #huggingface-小工蚁创始人-小工蚁创始人-哔哩哔哩视频 (bilibili.com)

可用需求2：可用于公司降本增效的方法

如何让智能体团队协作开源框架CrewAI #小工蚁-小工蚁创始人-小工蚁创始人-哔哩哔哩视频 (bilibili.com)

CrewAI实现角色定制互相协作？

GPU服务器如何选购？#小工蚁 #dell-小工蚁创始人-小工蚁创始人-哔哩哔哩视频 (bilibili.com)

可用于GPU服务器选购参考

Tesseract开源文字识别OCR引擎 支持100多种语言-小工蚁创始人-小工蚁创始人-哔哩哔哩视频 (bilibili.com)

OCR引擎，是否能用可后续参考

Flowise低代码构建本地知识库智能问答应用 #小工蚁-小工蚁创始人-小工蚁创始人-哔哩哔哩视频 (bilibili.com)

可后续验证这种代码是够更简洁

AutoLabel：自动标注，比人快100倍，准确度和人一样！#小工蚁 #大语言模型-小工蚁创始人-小工蚁创始人-哔哩哔哩视频 (bilibili.com)

当前有些业务用得到自动标注，这个具体是否可用，还是需要实际运行测试

小工蚁开源大模型解决方案 快速部署，轻松满足定制需求-小工蚁创始人-小工蚁创始人-哔哩哔哩视频 (bilibili.com)

里面的思路后续写解决方案还是可以参考用下，省些时间

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/648007.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

H5112B 48V 60V 80V 100V 多路共阳 RGB调光 PWM调光芯片

H5112B 48V 60V 80V 100V 多路共阳 RGB调光 PWM调光芯片

多路共阳恒流芯片是一种常用于LED驱动等应用的电子元件，它可以实现多个LED灯共享一个电流源，并且保持每个LED灯的亮度稳定。其工作原理如下： 多路输入：多路共阳恒流芯片通常有多个输入引脚，每个引脚对应一个LED灯。这…
阅读更多...
kafka集群和Filebeat+Kafka+ELK

kafka集群和Filebeat+Kafka+ELK

一、Kafka 概述 1.1 为什么需要消息队列（MQ） 主要原因是由于在高并发环境下，同步请求来不及处理，请求往往会发生阻塞。比如大量的请求并发访问数据库，导致行锁表锁，最后请求线程会堆积过多，从…
阅读更多...
攻防世界WEB新手训练区

攻防世界WEB新手训练区

view_source 此题我愿称之为网安领域的hello world 查看网页源代码的方式一般有—— 右键->查看网页源代码F12->源代码/来源Ctrlu 随后可以再代码第17行处找到flag，至此迈入网安第一步。可喜可贺，可喜可贺... get_post 考察http的两种请求方式&…
阅读更多...
“JavaScript 循环中的 ‘await‘

“JavaScript 循环中的 ‘await‘

目录 前言 for使用await -- 有效的 forEach使用await -- 无效的 for of 使用await 有效的 for await of 使用await 有效的 总结 前言 在JavaScript的forEach方法中使用await是无效的，因为forEach方法不支持异步操作的等待。 forEach是一个数组的遍历方法&…
阅读更多...
精要图示：园区金融数字化服务蓝图，以园区为支点推动信贷业务增长

精要图示：园区金融数字化服务蓝图，以园区为支点推动信贷业务增长

作为企业集聚地，园区已然成为银行业夯实客群基础的重要切口，各大行陆续围绕园区场景创新金融产品，以期抢跑园区金融新赛道、把握新增量。 启信慧眼首推一站式【园区金融】数字化服务方案，该方案同时支持启信天元私有化部署&#x…
阅读更多...
uniapp map自定义气泡窗

uniapp map自定义气泡窗

uniapp map自定义气泡窗 1、map <template><view><map class"map" :latitude"mapCenter.lat" :longitude"mapCenter.lng" :scale"5" :markers"mapData"><!--自定义冒泡--><cover-view slot&qu…
阅读更多...
windows下git pull超时，ping不通github

windows下git pull超时，ping不通github

报错 ssh: connect to host github.com port 22: Connection timed out fatal: Could not read from remote repository. Please make sure you have the correct access rights and the repository exists. 解决办法 修改hosts 最后加一行&#xff0c;文件位置&#xff1a;…
阅读更多...
Kotlin Multiplatform项目推荐 | 太空人分布图

Kotlin Multiplatform项目推荐 | 太空人分布图

Kotlin Multiplatform项目推荐 | 太空人分布图 项目简介 Kotlin Multiplatform项目是一种跨平台开发技术&#xff0c;它可以同时使用SwiftUI、Jetpack Compose、Compose for Wear OS、Compose for Desktop、Compose for Web、Kotlin/JS React等客户端框架&#xff0c;并且使…
阅读更多...
分表过多引起的问题/Apache ShardingSphere元数据加载慢

分表过多引起的问题/Apache ShardingSphere元数据加载慢

目录 环境 背景 探寻 元数据的加载策略 如何解决 升级版本到5.x 调大max.connections.size.per.query max.connections.size.per.query分析 服务启动阶段相关源码 服务运行阶段相关源码 受到的影响 注意事项&#xff08;重要&#xff09; 其他 环境 Spring Boot 2…
阅读更多...
【linux】Debian防火墙

【linux】Debian防火墙

Debian系统默认没有安装防火墙&#xff0c;但用户可以根据需要自行选择并安装一个防火墙以增强系统安全性。 一、查看Debian 桌面系统的防火墙是否关闭 在Debian及其他基于Linux的桌面系统中&#xff0c;防火墙功能通常是由iptables或nftables规则集控制的&#xff0c;而ufw&…
阅读更多...
docker容器启动后修改或添加端口 nacos容器 版本2.x需要额外开放9848、9849

docker容器启动后修改或添加端口 nacos容器 版本2.x需要额外开放9848、9849

1.输入docker ps -a查看需要修改的容器ID: 记录下、 docker ps -a 2.停止docker systemctl stop docker 3.进入docker 容器文件夹&#xff0c;找到对应容器的位置&#xff1a; docker的默认文件夹应该是/var/lib/docker 如果不是root用户查看的话&#xff0c;可能会出现权限…
阅读更多...
LeetCode 热题 100 | 子串

LeetCode 热题 100 | 子串

目录 1 560. 和为 K 的子数组 2 239. 滑动窗口最大值 3 76. 最小覆盖子串 菜鸟做题第二周&#xff0c;语言是 C 1 560. 和为 K 的子数组 题眼&#xff1a;“子数组是数组中元素的连续非空序列。” 解决本问题的关键就在于如何翻译问题。子数组 s 的和可以看作数组 i 的…
阅读更多...
智能充电桩，机器人 wifi蓝牙 解决方案

智能充电桩，机器人 wifi蓝牙 解决方案

新联鑫威低功耗高性价比sdio wifi/蓝牙combo的模块单频2.4g的CYWL6208&#xff0c;双频2.4g/5g CYWL6312可以应用到一些低延时 高性能 低功耗 联网需求的交流直流充电桩&#xff0c;扭力扳手&#xff0c;agv机器人&#xff0c;目前支持主流的stm32F4/GD32F4 瑞萨 psoc的主控&am…
阅读更多...
Shell脚本——循环语句（for、while和until循环）

Shell脚本——循环语句（for、while和until循环）

一、命令 1.echo命令 echo -n 表示不换行输出 echo -e 输出转义字符&#xff0c;将转义后的内容输出到屏幕上 常见转义字符&#xff1a; \b 相当于退格键 转义后相当于退格键&#xff08;backspace&#xff09;&#xff0c;但是前提是“\b”存在字符。“\b”表示删除前一个…
阅读更多...
Maven（上）：Maven介绍、安装配置及工程构建

Maven（上）：Maven介绍、安装配置及工程构建

1. Maven介绍 Maven 是一款为 Java 项目管理构建、依赖管理的工具&#xff08;软件&#xff09;&#xff0c;使用 Maven 可以自动化构建、测试、打包和发布项目&#xff0c;大大提高了开发效率和质量。 Maven就是一个软件&#xff0c;掌握安装、配置、以及基本功能 &#xff…
阅读更多...
二叉树的最大深度[简单]

二叉树的最大深度[简单]

优质博文&#xff1a;IT-BLOG-CN 一、题目 给定一个二叉树root&#xff0c;返回其最大深度。 二叉树的最大深度是指从根节点到最远叶子节点的最长路径上的节点数。 示例 1&#xff1a; 输入&#xff1a;root [3,9,20,null,null,15,7] 输出&#xff1a;3 示例 2&#xff1a…
阅读更多...
Java面试——基础篇

Java面试——基础篇

目录 1、java语言有哪些优点和缺点? 2、JVM 、 JDK 和 JRE的关系 3、为什么说 Java 语言“编译与解释并存”&#xff1f; 4、Java和c的区别 5、基本数据类型 5.1、java的8种基本数据类型&#xff1a; 5.2、基本类型和包装类型的区别&#xff1a; 5.3、包装类型的缓存机…
阅读更多...
【大数据】YARN常用命令及Rest API

【大数据】YARN常用命令及Rest API

YARN 1.YARN常用命令 1.1 作业 命令说明yarn application -list列出所有的applicationyarn application -list -appStates [ALL、NEW、NEW_SAVING、SUBMITTED、ACCEPTED、RUNNING、FINISHED、FAILED、KILLED]根据application状态过滤yarn application -kill [applicationId]…
阅读更多...
算法36：单调栈结构、子数组最小乘积的最大值问题(力扣1586)

算法36：单调栈结构、子数组最小乘积的最大值问题(力扣1586)

单调栈&#xff1a;就是在栈中实现数据的单调性。即从栈底到栈顶&#xff0c;要么递增&#xff0c;要么递减。 那么&#xff0c;使用单调栈&#xff0c;可以解决什么问题呢&#xff1f; 给定一个可能含有重复值的数组arr&#xff0c;i位置的数一定存在如下两个信息 1&#x…
阅读更多...
c# 解决ini中文乱码

c# 解决ini中文乱码

乱码仅仅是因为编码规则导致 解码时对应文件的码制即可 public class IniConfig{private string inipath AppDomain.CurrentDomain.BaseDirectory "Config.ini";public bool CanRead(){if (File.Exists(inipath)){return true;}return false;}//声明API函数[DllImp…
阅读更多...
最新文章

Copyright @ 2022~2023