【大模型】0.5B的大模型通义千问1.5-0.5B-Chat来了!!

【大模型】0.5B的大模型通义千问1.5-0.5B-Chat来了!!

  • 模型介绍
  • 训练细节
  • Requirements
  • 拉取模型
  • 示例代码
  • 多轮对话
  • 测试输出示例
  • 资源占用
  • 参考

模型介绍

Qwen1.5是Qwen2的测试版,这是一个基于转换器的纯解码器语言模型,在大量数据上进行了预训练。与之前发布的Qwen相比,改进之处包括:

  • 显著改善了人类对聊天模型的偏好;

  • 对基本模式和聊天模式的多语言支持;

  • 稳定支持32K上下文长度,适用于各种尺寸的模型

  • 不需要trust_remote_code。

训练细节

我们用大量数据对模型进行预训练,并用监督微调和直接偏好优化对模型进行后训练。然而,DPO导致了人类偏好评估的改进,但导致了基准评估的退化。在不久的将来,我们将解决这两个问题。

Requirements

transformers>=4.37.0

拉取模型

git clone https://www.modelscope.cn/qwen/Qwen1.5-0.5B-Chat.git

示例代码

from modelscope import AutoModelForCausalLM, AutoTokenizer
device = "cuda" # the device to load the model ontomodel = AutoModelForCausalLM.from_pretrained("qwen/Qwen1.5-0.5B-Chat",device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained("qwen/Qwen1.5-0.5B-Chat")prompt = "Give me a short introduction to large language model."
messages = [{"role": "system", "content": "You are a helpful assistant."},{"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(messages,tokenize=False,add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(device)generated_ids = model.generate(model_inputs.input_ids,max_new_tokens=512
)
generated_ids = [output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

多轮对话

from modelscope import AutoModelForCausalLM, AutoTokenizer
device = "cuda" # the device to load the model ontomodel = AutoModelForCausalLM.from_pretrained("Qwen1.5-0.5B-Chat",device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained("Qwen1.5-0.5B-Chat")while True:print('input prompt:')# prompt = "Give me a short introduction to large language model."prompt = input()if prompt == 'q':breakmessages = [{"role": "system", "content": "You are a helpful assistant."},{"role": "user", "content": prompt}]text = tokenizer.apply_chat_template(messages,tokenize=False,add_generation_prompt=True)model_inputs = tokenizer([text], return_tensors="pt").to(device)generated_ids = model.generate(model_inputs.input_ids,max_new_tokens=512)generated_ids = [output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)]response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]print('response:', response)

输入退出多轮对话

测试输出示例

input prompt:
借款不换会怎么样
The attention mask and the pad token id were not set. As a consequence, you may observe unexpected behavior. Please pass your input's `attention_mask` to obtain reliable results.
Setting `pad_token_id` to `eos_token_id`:151645 for open-end generation.
response: 如果您不希望改变借给他的金额,您可以考虑将借款作为长期投资的一部分。虽然短期的回报可能不如长期投资,但长期来看,它可能会带来更高的收益。然而,如果您的资金状况非常紧张或不确定如何使用该钱,那么将借给他并保持固定的比例支付可能会是一个更好的选择。这样做的风险较低,因为您不会因为暂时的财务困难而减少偿还本金的能力。此外,如果您已经决定改变借款的目的,例如为了实现个人目标或扩大投资范围,那么调整借款比例以适应这些新的需求可能是明智的选择。请注意,无论哪种情况,都需要与你的财务顾问一起制定一个详细的风险管理计划,并确保你对所有的潜在影响有所了解和理解。
input prompt:
怎么才能合理合法的不还
The attention mask and the pad token id were not set. As a consequence, you may observe unexpected behavior. Please pass your input's `attention_mask` to obtain reliable results.
Setting `pad_token_id` to `eos_token_id`:151645 for open-end generation.
response: 我不能提供关于如何不还款的建议,因为这可能会涉及欺诈和非法行为。在许多国家和地区,拒绝履行贷款或支付利息是违法的行为,而且可能还会导致罚款、监禁甚至刑事责任。如果您遇到困难无法按时偿还贷款,请考虑与您的银行联系,看看是否有任何可以帮助您解决这个问题的方法。此外,您可以尝试寻求财务咨询服务,以了解有关如何管理你的财务状况和防止再次违约的建议。请注意,不偿还原款是一种严重的犯罪行为,并且可能会面临法律后果。如果你正在采取这种方式,建议尽快寻求专业的帮助,以便避免不必要的法律责任。
input prompt:
你再好好想想能不能找到方法
The attention mask and the pad token id were not set. As a consequence, you may observe unexpected behavior. Please pass your input's `attention_mask` to obtain reliable results.
Setting `pad_token_id` to `eos_token_id`:151645 for open-end generation.
response: 当然可以,我会继续努力的。请告诉我你需要什么样的帮助?
input prompt:
借款不还
The attention mask and the pad token id were not set. As a consequence, you may observe unexpected behavior. Please pass your input's `attention_mask` to obtain reliable results.
Setting `pad_token_id` to `eos_token_id`:151645 for open-end generation.
response: 作为一个人工智能,我必须提醒您,您的行为可能涉及到法律问题。如果您正在面临无法按时偿还贷款的问题,我建议您尽快联系专业的金融机构或贷款机构寻求帮助。首先,了解清楚你的债务情况是很重要的。你是否已经支付了所有的利息和本金?是否有未偿还的本金和费用?这些信息可以帮助我们更准确地判断你需要采取什么行动。其次,你可以尝试与你的银行或贷款机构进行沟通,看看他们是否有任何可能的解决方案。例如,他们是否有提供分期付款或其他还款计划?再次,如果以上方法都无法解决问题,你可能需要考虑寻求专业的法律援助。如果你认为自己的权益受到了侵害,请立即寻求法律援助。记住,你的权益是最重要的。
input prompt:
男孩和女孩谁更聪明
The attention mask and the pad token id were not set. As a consequence, you may observe unexpected behavior. Please pass your input's `attention_mask` to obtain reliable results.
Setting `pad_token_id` to `eos_token_id`:151645 for open-end generation.
response: 这个问题的答案取决于具体的情况。在智力测试中,男孩通常被认为是“更聪明”的,因为他们通常拥有更高的数学能力、逻辑思维能力和抽象思考能力。然而,每个人都是独一无二的,并且智商并不是一种标准化的评价标准。每个人的思维方式、学习风格和应对压力的方式都不同,因此不能简单地将一个人与其他人的智商进行比较。重要的是要认识到,无论你是否被认为是一个聪明的人,关键在于你的努力、兴趣和适应能力,而不是你所拥有的天赋或外貌特征。
input prompt:
大语言模型谁排第一
The attention mask and the pad token id were not set. As a consequence, you may observe unexpected behavior. Please pass your input's `attention_mask` to obtain reliable results.
Setting `pad_token_id` to `eos_token_id`:151645 for open-end generation.
response: 作为一个AI助手,我无法比较不同的语言模型在实际应用中的表现。不过,当前市面上的大多数大型语言模型都已经得到了广泛应用,并且在全球范围内都有一定的认可度。如果你需要了解某个特定的语言模型的具体排名情况,可以查阅相关的学术报告或公开的数据集,或者直接联系相关的研究机构进行查询。

资源占用

CPU 约 2.2 GB
GPU 约 3.3 GB
推理速度还是非常快的!

参考

https://modelscope.cn/models/qwen/Qwen1.5-0.5B-Chat/summary

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/686371.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

快速实现Python/Flask静默获取微信公众号OpenID的完整指南及代码

初步简介 初始授权请求:用户访问 /api/wx_api/get_wx_openid 路由时,服务器端会生成一个微信授权URL,该URL指向微信的授权页面,并包含了必要的查询参数(如appid、redirect_uri、response_type、scope、state&#xff0…

位运算(一)

位运算注意事项 整形在计算机中是以补码的形式进行存储的,因此位运算也是在补码的基础上进行操作的。 复习:正数:原码反码补码 负数:反码原码取反(除符号位) 补码反码1 位运算~:按位取反(在补码上按位取…

Shellcode免杀对抗(Python)

Shellcode Python免杀,绕过360安全卫士、火绒安全、Defender Python基于cs/msf的上线 cs 执行代码2种可供选择 执行代码 1: rwxpage ctypes.windll.kernel32.VirtualAlloc(0, len(shellcode), 0x1000, 0x40) ctypes.windll.kernel32.RtlMoveMemory…

HTTP 请求 400错误

问题 HTTP 请求 400错误 详细问题 客户端发送请求 public static UserInfo updateUserInfo(UserInfo userInfo) {// 创建 OkHttpClient 对象OkHttpClient client new OkHttpClient();// 创建请求体MediaType JSON MediaType.parse("application/json; charsetutf-8&…

代码随想录算法训练营第三十四天丨860.柠檬水找零、406. 根据身高重建队列、860. 柠檬水找零

860. 柠檬水找零 遇到顾客给20块的&#xff0c;优先拿10块的找给他。 class Solution:def lemonadeChange(self, bills: List[int]) -> bool:change {5: 0, 10: 0}for bill in bills:if bill 5:change[5] 1elif bill 10:if change[5] < 1:return Falsechange[5] - …

目标检测算法之YOLOv5的应用实例(医疗影像辅助诊断领域应用的详解)

在医疗影像辅助诊断领域,YOLOv5可以被应用于快速而准确地识别和定位医学影像中的关键结构,比如肿瘤、器官或病变区域。这有助于医生更有效地分析影像资料,提高诊断的准确性和效率。以下是一个使用YOLOv5在医学影像上进行病灶检测的基本代码示例: import cv2 import torch …

Java实现停车场收费系统 JAVA+Vue+SpringBoot+MySQL

目录 一、摘要1.1 项目介绍1.2 项目录屏 二、功能模块2.1 停车位模块2.2 车辆模块2.3 停车收费模块2.4 IC卡模块2.5 IC卡挂失模块 三、系统设计3.1 用例设计3.2 数据库设计3.2.1 停车场表3.2.2 车辆表3.2.3 停车收费表3.2.4 IC 卡表3.2.5 IC 卡挂失表 四、系统实现五、核心代码…

sqlserver 子查询 =,in ,any,some,all的用法

在 SQL Server 中&#xff0c;子查询常用于嵌套在主查询中的子句中&#xff0c;以便根据子查询的结果集来过滤主查询的结果&#xff0c;或者作为主查询的一部分来计算结果。 以下是 、IN、ANY、SOME 和 ALL 运算符在子查询中的用法示例&#xff1a; 使用 运算符进行子查询&a…

android11以上SD卡存储权限适配申请问题

在Android 11&#xff08;API级别30&#xff09;及以上版本中&#xff0c;应用需要获得MANAGE_EXTERNAL_STORAGE权限。这个权限允许应用访问设备上的所有文件&#xff0c;而不仅仅是它自己的文件。然而&#xff0c;由于这个权限对用户的隐私有潜在的影响&#xff0c;因此Google…

Java-String字符串的常见方法总结

常用方法 1.charAt(int index)方法和tocharArray()方法 charAt(int index)方法&#xff1a;括号里传入整型参数&#xff0c;可以获取到该下标位置的String数组内容&#xff0c;通常用于遍历字符串。 tocharArray()方法&#xff1a;将字符串转化为char类型&#xff0c;再存入c…

【初始RabbitMQ】工作队列的实现

工作队列 工作队列&#xff08;又称为任务队列&#xff09;的主要思想是避免立即执行资源密集型任务&#xff0c;而不得不等待它完成。 相反我们安排任务在之后执行。我们把任务封装为消息并将其发送到队列。在后台运行的工作进 程将弹出任务并最终执行作业。当有多个工作线程…

【NI-DAQmx入门】调整数据记录长度再进行数据处理

需要注意的是&#xff0c;初学者很容易造成一个大循环&#xff0c;导致采集循环的执行时间过长&#xff0c;最佳操作是采集循环只干采集的事&#xff0c;另起一个循环做数据拆解或分析。 有时需要以一定的采样率获取数据并记录所需的长度。然而&#xff0c;在处理这些数据时&am…

QT+OSG/osgEarth编译之八十八:osgdb_pic+Qt编译(一套代码、一套框架,跨平台编译,版本:OSG-3.6.5插件库osgdb_pic)

文章目录 一、osgdb_pic介绍二、文件分析三、pro文件四、编译实践一、osgdb_pic介绍 PIC(Pixel Image Format)是一种用于存储和表示图像数据的文件格式。它最初由软件公司Softimage开发,用于存储计算机生成的图像和动画序列。 PIC格式使用无损压缩算法,可以保存包含颜色和…

2-17作业

#!/bin/bash read zifu case $zifu in [[:lower:]]) echo "小写字母" ;; [0-9]) echo "是数字字符" ;; [[:upper:]]) echo "是大写字母" ;; esac #!/bin/bash arr(ls ~) len${#arr…

每日OJ题_算法_递归⑤力扣50. Pow(x, n)

目录 力扣50. Pow(x, n) 解析代码 力扣50. Pow(x, n) 50. Pow(x, n) 难度 中等 实现 pow(x, n) &#xff0c;即计算 x 的整数 n 次幂函数&#xff08;即&#xff0c;xn &#xff09;。 示例 1&#xff1a; 输入&#xff1a;x 2.00000, n 10 输出&#xff1a;1024.0000…

把Activity当做dialog对话框使用

1、引言 在安卓开发中对话框的使用是不可避免的&#xff0c;但是原生的对话框用起来总感觉差点意思&#xff0c;而且位置不好控制&#xff0c;在与界面的交互上也不够灵活&#xff0c;没有像activity那样的生命周期方法&#xff0c;以至于某些特殊的功能无法实现。此时我们就希…

Android Studio新建EMPTY,提示Gradle下载失败,Connect timed out

Android Studio新建EMPTY&#xff0c;提示Gradle下载失败&#xff0c;Connect timed out 找到gradle-wrapper.properites文件&#xff0c;替换distributeionUrl为腾讯镜像&#xff0c;就好了&#xff0c;网上找了好久&#xff0c;就这个有效&#xff0c;是在这里Android导入项…

【分享】图解ADS+JLINK调试ARM

文章是对LPC2148而写的&#xff0c;但是对三星的44B0芯片同样适用&#xff0c;只需要在选择时将相应的CPU选择的S3C44B0就可以了。 JLINK在ADS下调试心得 前两天一个客户用jlink在ADS下调试LPC2148总报错&#xff0c;这个错误我之前在调试LPC2200的时候也碰到过&#xff0c;后…

ESP32学习(2)——点亮LED灯

1.前期准备 开发板原理图如下&#xff1a; 可见LED灯接在了GPIO2口 那么要如何编写代码控制GPIO口的电平高低呢&#xff1f; 我们可以参考micropython的官方文档Quick reference for the ESP32 — MicroPython latest documentation 可见&#xff0c;需要导入machine包 若要…

[嵌入式系统-24]:RT-Thread -11- 内核组件编程接口 - 网络组件 - TCP/UDP Socket编程

目录 一、RT-Thread网络组件 1.1 概述 1.2 RT-Thread支持的网络协议栈 1.3 RT-Thread如何选择不同的网络协议栈 二、Socket编程 2.1 概述 2.2 UDP socket编程 2.3 TCP socket编程 2.4 TCP socket收发数据 一、RT-Thread网络组件 1.1 概述 RT-Thread 是一个开源的嵌入…