06浅谈大语言模型可调节参数TopP和TopK

浅谈大模型参数TopP和TopK

大语言模型中的temperaturetop_ptop_k参数是用来控制模型生成文本时的随机性和创造性的。下面分享一下topPtopK两个参数的意义及逻辑;

top K(Top-K Sampling)

  • 作用:只从模型认为最可能的k个词中选择下一个词。k值越大,选择范围越广,生成的文本越多样;k值越小,选择范围越窄,生成的文本越趋向于高概率的词。

  • 常见设置:一般设置在40到100之间。较小的k值可以提高文本的相关性和连贯性,而较大的k值则增加了文本的多样性。

top P(Nucleus Sampling)

  • 作用:从概率累计达到p的那一组词中随机选择下一个词。与Top-K不同,Top-P是动态的,依据每个上下文的不同而变化。

  • 常见设置:通常设置在0.8到0.95之间。较低的top_p值(如0.8)使生成的文本更加可预测和相关,而较高的值(如0.95)增加了文本的多样性和创造性。

top K VS top P

  • top_k提供了一个固定数量的候选词,而top_p提供了一个动态变化的候选词集合,其大小取决于特定上下文中词的概率分布。

  • 使用top_k可能会导致生成的文本在不同情况下过于类似,因为它总是从固定数目的最可能的词中选择。相比之下,top_p提供了更多的灵活性和多样性,因为它允许根据上下文的不同选择不同数量的候选词。

通俗理解top P和top K背后逻辑

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/42255.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

时间、查找、打包、行过滤与指令的运行——linux指令学习(二)

前言:本节内容标题虽然为指令,但是并不只是讲指令, 更多的是和指令相关的一些原理性的东西。 如果友友只想要查一查某个指令的用法, 很抱歉, 本节不是那种带有字典性质的文章。但是如果友友是想要来学习的,…

Amesim中删除计算结果保存计算文件

前言 Amesim在工程应用中计算的结果文件有时会很大,为了节省电脑存储空间,项目结束后可以将计算结果删除进行保存以存档。 操作步骤 具体操作步骤如下: Step1:在①File下打开(Open)需要删除计算结果的项…

DAMA学习笔记(四)-数据建模与设计

1.引言 数据建模是发现、分析和确定数据需求的过程,用一种称为数据模型的精确形式表示和传递这些数据需求。建模过程中要求组织发现并记录数据组合的方式。数据常见的模式: 关系模式、多维模式、面向对象模式、 事实模式、时间序列模式和NoSQL模式。按照描述详细程度…

数据库基础之:函数依赖

函数依赖在数据库设计中是非常关键的概念,用于描述关系数据库中数据项之间的相关性。下面我将通过几个例子来说明函数依赖的几种类型:完全函数依赖、部分函数依赖和传递函数依赖。 完全函数依赖 考虑一个关系模式 Student,包含属性 Student…

MPU、MCU、SoC、Application Processors的区别

文章目录 1. 嵌入式发展史 2. CPU 3. MPU 4. MCU 5. SoC 6. Application Processors 7. 不同处理器运行的操作系统 MCU(Microcontroller Unit) 应用处理器(Application Processors) MPU(Microprocessor Unit…

第1节、基于太阳能的环境监测系统——MPPT充电板

一、更新时间: 本篇文章更新于:2024年7月6日23:33:30 二、内容简介: 整体系统使用太阳能板为锂电池充电和系统供电,天黑后锂电池为系统供电,本节主要介绍基于CN3722的MPPT太阳能充电模块,这块主要是硬件…

AE的首选项设置

打开AE,点击 编辑->首选项->常规 显示 点击“所有关键帧”,这样显示路径就会显示所有关键帧 导入 将序列素材改为25帧每秒,作为以后制作的默认 媒体和磁盘缓存 根据个人需求选择磁盘缓存的文件夹,如果d盘空间充足,就改成…

探索 WebKit 的动感世界:设备方向和运动支持全解析

探索 WebKit 的动感世界:设备方向和运动支持全解析 随着移动设备的普及,网页应用对设备方向和运动的感知需求日益增长。WebKit 作为众多流行移动浏览器的渲染引擎,提供了对设备方向和运动的全面支持,使得 Web 应用能够根据设备的…

Git中两个开发分支merge的原理

一 分支合并 1.1 原理 分支合并:就是将A分支修改后且commit的内容,合并到B分支,这些修改且提交的内容和B分支对应的内容和位置进行比较: 1.不一样的话,提示冲突,需要人工干预。 2.一样的话,…

网页封装APP:让您的网站变身移动应用

网页封装APP:让您的网站变身移动应用 随着移动设备的普及,越来越多的人开始使用移动设备浏览网站。但是,传统的网站设计并不适合移动设备的屏幕尺寸和交互方式,这导致了用户体验不佳和流失。 有没有办法让您的网站变身移动应用&…

14-43 剑和诗人17 - ActiveRAG之主动学习

​​​​​ 大型语言模型 (LLM) 的出现开启了对话式 AI 的新时代。这些模型可以生成非常像人类的文本,并且比以往更好地进行对话。然而,它们在仅依赖预训练知识方面仍然面临限制。为了提高推理能力和准确性,LLM 需要能够整合外部知识。 检索…

每日一题~oj(贪心)

对于位置 i来说,如果 不选她,那她的贡献是 vali-1 *2,如果选他 ,那么她的贡献是 ai. 每一个数的贡献 是基于前一个数的贡献 来计算的。只要保证这个数的前一个数的贡献是最优的,那么以此类推下去,整体的val…

AI让大龄程序员重新焕发活力

AI是在帮助开发者还是取代他们? 在软件开发领域,生成式人工智能(AIGC)正在改变开发者的工作方式。无论是代码生成、错误检测还是自动化测试,AI工具正在成为开发者的得力助手。然而,这也引发了对开发者职业…

Spark SQL----内置函数Predicate Functions

Spark SQL----内置函数Predicate Functions Predicate Functions 例子: -- ! SELECT ! true; ---------- |(NOT true)| ---------- | false| ----------SELECT ! false; ----------- |(NOT false)| ----------- | true| -----------SELECT ! NULL; -----…

华为云简介

前言 华为云是华为的云服务品牌,将华为30多年在ICT领域的技术积累和产品解决方案开放给客户,致力于提供稳定可靠、安全可信、可持续创新的云服务,赋能应用、使能数据、做智能世界的“黑土地”,推进实现“用得起、用得好、用得放心…

检测音视频文件的声压

FFmpeg使用 ebur128 滤镜检测声压,EBU R128 是欧洲广播联盟(European Broadcasting Union,简称 EBU)推荐的音频响度测量和归一化标准。 ffmpeg -i input_video.mp4 -filter_complex ebur128peaktrue -f null --f null -&#xff…

Android关闭SLinux

调试Android的时候有时需要关闭Selinux验证问题。总结下关闭SELinux的方法。 adb shell getenforce 查看当前 Selinux 状态是 permissive(关闭)还是 enforce(打开)的 adb shell setenforce 0 开Selinux:设置成模式permissive adb shell setenforce 1…

优化视频编辑体验:精准高效视频分割,降低误差率,显著提升处理精度与效率

在数字创意飞速发展的今天,视频编辑已成为展现创意与才华的重要舞台。然而,面对海量的视频素材和复杂的编辑需求,如何快速、准确地完成视频分割,成为了每一个视频编辑师心中的难题。今天,我们荣幸地向您介绍一款颠覆性…

摸鱼大数据——Spark SQL——DataFrame详解一

1.DataFrame基本介绍 DataFrame表示的是一个二维的表。二维表,必然存在行、列等表结构描述信息​表结构描述信息(元数据Schema): StructType对象字段: StructField对象,可以描述字段名称、字段数据类型、是否可以为空行: Row对象列: Column对象&#xff…

Rejetto HFS 服务器存在严重漏洞受到攻击

AhnLab 报告称 ,黑客正在针对旧版本的 Rejetto HTTP 文件服务器 (HFS) 注入恶意软件和加密货币挖矿程序。 然而,由于存在错误, Rejetto 警告用户不要使用 2.3 至 2.4 版本。 2.3m 版本在个人、小型团队、教育机构和测试网络文件共享的开发…