[论文笔记] tiktoken中的gpt4 tokenizer

亲测可用！！！！！

        注意是bytelevel的BPE！！

        只有vocab.json是不ok的，只能encode单字节的字符，对于中文这种会encode之后tokens,ids都是[]。 

gpt-tokenizer - npm

GitHub - openai/tiktoken: tiktoken is a fast BPE tokeniser for use with OpenAI's models.

GitHub - weikang-wang/ChatGPT-Vocabulary: cl100k_base Vocabulary of ChatGPT and GPT-4

ChatGPT 与 GPT-4 tokenizer 揭秘 - 知乎</

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/196193.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Android studio版本对用的gradle版本和插件版本（注意事项）

Android studio版本对用的gradle版本和插件版本（注意事项）

简介 Android Studio 构建系统以 Gradle 为基础&#xff0c;并且 Android Gradle 插件添加了几项专用于构建 Android 应用的功能。虽然 Android 插件通常会与 Android Studio 的更新步调保持一致&#xff0c;但插件&#xff08;以及 Gradle 系统的其余部分&#xff09;可独立于…
阅读更多...
接口测试很难？1分钟带你入门接口自动化测试

接口测试很难？1分钟带你入门接口自动化测试

1、什么是接口&#xff1f; 接口是连接前台和后台的桥梁&#xff0c;前台通过接口调用后端已完成的功能&#xff0c;而无需关注内部的实现细节。借助于接口&#xff0c;可以实现前后台分离&#xff0c;各自完成开发工作后&#xff0c;进行联调&#xff0c;提高工作效率 2、接…
阅读更多...
系列十三、SpringBoot的自动配置原理分析

系列十三、SpringBoot的自动配置原理分析

一、概述 我们知道Java发展到现在功能十分的强大&#xff0c;生态异常的丰富&#xff0c;这里面离开不了Spring及其家族产品的支持&#xff0c;而作为Spring生态的明星产品Spring Boot可以说像王者一般的存在&#xff0c;那么的耀眼&#xff0c;那么的光彩夺目&#xff01;那么…
阅读更多...
分享66个菜单导航JS特效，总有一款适合您

分享66个菜单导航JS特效，总有一款适合您

分享66个菜单导航JS特效&#xff0c;总有一款适合您 66个菜单导航JS特效下载链接&#xff1a;https://pan.baidu.com/s/1dpGGbptx6hEKcBnTMNLIdA?pwd6666 提取码&#xff1a;6666 Python采集代码下载链接&#xff1a;采集代码.zip - 蓝奏云 学习知识费力气&#xff0c;…
阅读更多...
聚焦工业生产安全，汉威科技推出最轻最小迷你便携式单气体检测仪

聚焦工业生产安全，汉威科技推出最轻最小迷你便携式单气体检测仪

有毒有害气体、可燃气体等是工业生产中常见的危险因素。我国已经出台了多项法律法规、行业标准&#xff0c;在石油、化工、钢铁冶金、危化品、矿业等行业以及有限空间相关场所作业&#xff0c;应当佩戴便携式气体检测仪&#xff0c;以保障作业人员的安全。 然而&#xff0c;近年…
阅读更多...
SSM项目实战-前端-将uid存放在pinia中

SSM项目实战-前端-将uid存放在pinia中

https://pinia.vuejs.org/zh/getting-started.html 1、安装pinia npm install pinia {"name": "pro20-schedule","private": true,"version": "0.0.0","type": "module","scripts": {"d…
阅读更多...
什么是中间人攻击

什么是中间人攻击

中间人攻击 1. 定义2. 中间人攻击如何工作3. 常见中间人攻击类型4. 如何防止中间人攻击 1. 定义 中间人攻击&#xff08;Man-in-the-Middle Attack&#xff0c;简称MITM&#xff09;&#xff0c;是一种会话劫持攻击。攻击者作为中间人&#xff0c;劫持通信双方会话并操纵通信过…
阅读更多...
全球与中国汽车电力电子市场：增长趋势、竞争格局与前景展望

全球与中国汽车电力电子市场：增长趋势、竞争格局与前景展望

目前&#xff0c;世界各国都致力于转向更环保、更永续的传统交通替代方案。 电动车满足所有要求&#xff0c;因为它们具有零废气排放、改善空气品质、减少温室气体排放并创造更清洁、更健康的环境。此外&#xff0c;电动车的运作成本比传统内燃机驱动的汽车低&#xff0c;因为…
阅读更多...
企业微信群发助手：实现高效触达的关键利器

企业微信群发助手：实现高效触达的关键利器

在当今的商业环境中&#xff0c;流量已经成为了每个企业争夺的宝贵资源&#xff0c;这也导致了获客成本的不断上升。为了解决这个问题&#xff0c;越来越多的企业开始转向私域流量的运营&#xff0c;通过私域来吸引和维护客户。以电商为例&#xff0c;商家通过客服引导用户添加…
阅读更多...
【大连民族大学C语言CG题库练习题】——输入10个实数入数组，然后依次输出前1个实数和、前2个实数和、…、前10个实数和

【大连民族大学C语言CG题库练习题】——输入10个实数入数组，然后依次输出前1个实数和、前2个实数和、…、前10个实数和

【问题描述】输入10个实数入数组&#xff0c;然后依次输出前1个实数和、前2个实数和、…、前10个实数和 【输入形式】输入10个实数 【输出形式】依次输出前1个实数和、前2个实数和、…、前10个实数和 【样例输入】 1.2 3.4 4.4 3.8 5.1 6.2 7.3 4.3 9.4 2.5 【样例输出】 …
阅读更多...
RabbitMQ 的七种消息传递形式

RabbitMQ 的七种消息传递形式

文章目录 一、RabbitMQ 架构简介二、准备工作 三、消息收发1. Hello World2. Work queues3. Publish/Subscrite3.1. Direct3.2. Fanout3.3. Topic3.4. Header 4. Routing5. Topics 大部分情况下&#xff0c;我们可能都是在 Spring Boot 或者 Spring Cloud 环境下使用 RabbitMQ&…
阅读更多...
[C国演义] 第二十三章

[C国演义] 第二十三章

第二十三章 两个字符串的最小ASCLL删除和最长重复子数组 两个字符串的最小ASCLL删除和 力扣链接 求 删除字符的ASCLL和的最小值 ⇒ 正难则反 ⇒ 求公共子序列的ASCLL和的最大值 两个数组的dp问题 ⇒ 分区间讨论 ⇒ dp[i][j] -- nums1数组的[0, i] 区间 和 nums2数组的[0, j] …
阅读更多...
vue3学习网站

vue3学习网站

官方网站&#xff1a;Vue.js - 渐进式 JavaScript 框架 | Vue.js 中文文档: 简介 | Vue.js Webpack 入门教程&#xff1a;Webpack 入门教程 | 菜鸟教程 vue3知识宝库&#xff1a;Vue3
阅读更多...
@Transactional事务以及相关的注解，事务的传播行为

@Transactional事务以及相关的注解，事务的传播行为

Transactional是一个用于声明式事务管理的注解&#xff0c;通常用在 Spring 框架中。 当一个方法被 Transactional 注解时&#xff0c;表示该方法需要进行事务管理。如果方法执行过程中出现异常&#xff0c;那么事务会自动回滚&#xff1b;如果方法正常执行完毕&#xff0c;那…
阅读更多...
【powerjob】定时任务调度器 xxl-job和powerjob对比

【powerjob】定时任务调度器 xxl-job和powerjob对比

文章目录 同类产品对比资源及部署相关资源占用对比&#xff1a;部署方式&#xff1a;xxl job :调度器&#xff1a;执行器&#xff1a; powerjob&#xff1a;调度器&#xff1a;执行器&#xff1a; 总结 背景&#xff1a; 目前系统的定时任务主要通过Spring框架自带的Scheduled注…
阅读更多...
华为云之一键安装宝塔面板

华为云之一键安装宝塔面板

华为云之一键安装宝塔面板 一、本次实践介绍1.1 实践环境简介1.2 本次实践目的 二、宝塔面板介绍三、环境准备工作3.1 预置实验环境3.2 查看环境信息3.3 登录华为云3.4 查看弹性云服务器状态3.5 ssh登录弹性云服务器3.6 查看操作系统版本 四、安装宝塔面板4.1 一键部署宝塔面板…
阅读更多...
【Java】判断一个字符串是否为数字型

【Java】判断一个字符串是否为数字型

问题 Testpublic void isNumeric1() {System.out.println("h185 >" isNumeric1("h185"));System.out.println("185h >" isNumeric1("185h"));System.out.println("-1 >" isNumeric1("-1"));Syst…
阅读更多...
11.30_黑马Redis实战篇分布式锁

11.30_黑马Redis实战篇分布式锁

实战篇9 设立一个在jvm外的锁监视器&#xff0c;可以处理多线程的问题 实战篇10 获取锁的时候&#xff0c;要同时发生获取锁以及设置到期时间。 实战篇11 thinking&#xff1a;JAVA中的自动拆箱与装箱&#xff1f; 【Java基础】自动拆装箱_Elephant_King的博客-CSDN博客 TR…
阅读更多...
MySql常用面试题

MySql常用面试题

1 MySql, Oracle &#xff0c; Sql Service 的区别 Sql Service 只能在 Windows 上使用&#xff0c;而 MySql 和 Oracle 可以在其他系统上使用&#xff0c; 而且可以支持数 据库不同系统之间的移植 MySql 开源免费的&#xff0c; Sql Service 和 Oracle 要钱。 Oracle 支持…
阅读更多...
owasp应用安全验证标准 ASVS 4.0.3

owasp应用安全验证标准 ASVS 4.0.3

OWASP应用安全验证标准 |OWASP基金会 ASVS安全应用评估标准是一项社区驱动的工作&#xff0c;旨在建立一个安全要求和控制的框架&#xff0c;在设计、开发和测试现代网络应用程序 和网络服务时&#xff0c;定义所需要的功能和非功能性的安全控制措施。 《OWASP Top 10 2017》是…
阅读更多...
最新文章

Copyright @ 2022~2023