LLM生成nvidia-h100-tensor-core-hopper-whitepaper.pdf摘要

LLM生成nvidia-h100-tensor-core-hopper-whitepaper.pdf摘要

  • 代码

LLM生成nvidia-h100-tensor-core-hopper-whitepaper.pdf摘要

代码

import pdfplumber
import timedef split_text_to_chunks(text, max_chunk_size=8192, delimiter='####'):"""将长文本分割成多块,每块的大小不超过最大块大小,并且以给定的分隔符开头和结尾。在分割时确保不会跨段,每段由分隔符开头。:param text: 要分割的长文本:param max_chunk_size: 每一块的最大大小:param delimiter: 每一段的起始分隔符:return: 分割后的块列表"""# 按照分隔符分割文本,去除空白段sections = [section for section in text.split(delimiter) if section.strip()]chunks = []current_chunk = ""for section in sections:# 每一段都要包含起始分隔符section = delimiter + sectionif len(current_chunk) + len(section) + len(delimiter) * 2 + 2 <= max_chunk_size:current_chunk += sectionelse:# 若当前段添加到当前块后超出最大块大小,则当前块保存if current_chunk:chunks.append(current_chunk.strip() + "\n")current_chunk = section# 添加最后一个块,如果有内容if current_chunk:chunks.append(current_chunk.strip() + "\n")return chunksdef llm_summary(question):from http import HTTPStatusimport dashscopedashscope.api_key="sk-"from dashscope import Generation    system_prompt="你是一位GPU专家,能从用户输入的文章中提取出H100相关的特性,输出中文"messages = [{'role': 'system', 'content': system_prompt},{'role': 'user', 'content': question}]response = Generation.call(model="qwen-max", messages=messages,result_format='message')if response.status_code == HTTPStatus.OK:messages.append({'role': response.output.choices[0]['message']['role'],'content': response.output.choices[0]['message']['content']})output=response.output.choices[0]['message']['content']return outputreturn ""def stage_0():    pdf_path = 'nvidia-h100-tensor-core-hopper-whitepaper.pdf'output=""fo=open("H100_Architecture.txt","w",encoding="utf-8")with pdfplumber.open(pdf_path) as pdf:for idx,page in enumerate(pdf.pages[5:70]):lines=page.extract_text().split("\n")[1:-2]for line in lines:output+=" "output+=line[:-1].strip()if line[-1]=='.':output+="\n\n####"fo.write(output)fo.close()        def stage_1():article_body_content = open("H100_Architecture.txt","r",encoding="utf-8").read()f=open("H100_Architecture_Summary.txt","a+")chunks = split_text_to_chunks(article_body_content)total=len(chunks)for idx, chunk in enumerate(chunks):#print(f"Chunk {idx + 1}: {len(chunk)} \n{chunk}\n")summary=llm_summary(chunk)print(f" --------- {idx}/{total} @{idx/total:.3f} --------- ")    print(summary)f.write(f"\n####{summary}")f.flush()time.sleep(5)stage_0()  
stage_1()

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/43291.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

网络模型介绍

网络模型在网络领域中主要指的是用于描述计算机网络系统功能的各种框架&#xff0c;其中最具代表性的两种模型是OSI七层参考模型和TCP/IP四层参考模型。以下是对这两种网络模型的详细解析&#xff1a; 一、OSI七层参考模型 OSI&#xff08;Open System Interconnection&#…

Python变量·二

# 变量 : 可变的量 # 1. 作用是用来存储数据, 为了方便以后使用它做别的运算 # 2. 定义变量时,不需要固定类型(弱类型: 动态数据类型) # 定义一个变量: # 将10这个值 赋值 给变量a (a是我们自己取的变量名) a 10 # 重点掌握 print(a, type(a)) # 10 <class int>…

K8S篇之Ingress详解以及用法说明

一、Ingress简介 Ingress 是 Kubernetes 中用于管理和配置从集群外部访问集群内部服务的资源对象。它通过定义路由规则来控制外部流量的访问方式&#xff0c;支持基于 HTTP 和 HTTPS 的高级路由功能和安全性配置。 Ingress是一种HTTP方式的路由转发机制&#xff0c;为K8S服务配…

AGAST (角点检测)

AGAST检测原理 AGAST(Adaptive and Generic Accelerated Segment Test)算法是Elmar于2010年提出的特征检测算法,改进了FAST(Features from Accelerated Segment Test)特征检测方法,使其具有更快的速度和更好的鲁棒性。AGAST算法提供了比FAST算法更详细的特征标记方式和判断依…

【Python_GUI】tkinter模块、创建空白窗口

tkinter是使用Python进行窗口视觉设计的模块&#xff0c;它是Python的标准Tk GUI工具包的接口&#xff0c;在安装Python时&#xff0c;就自动安装了该模块。 使用tkinter模块开发时&#xff0c;最核心的就是各种组件的使用。生活中玩积木时&#xff0c;通过将不同形状的木板进…

在安卓中使用FFmpeg录制摄像头的视频

在移动应用开发中&#xff0c;有时需要利用设备的摄像头录制视频&#xff0c;并且希望在录制过程中能够精确控制视频的质量、格式和时长。FFmpeg作为一个强大的多媒体处理工具&#xff0c;提供了广泛的功能和选项&#xff0c;能够帮助我们实现这样的需求。 添加依赖 在安卓平台…

Knife4j的原理及应用详解(一)

本系列文章简介&#xff1a; 在当今快速发展的软件开发领域&#xff0c;API&#xff08;Application Programming Interface&#xff0c;应用程序编程接口&#xff09;作为不同软件应用之间通信的桥梁&#xff0c;其重要性日益凸显。随着微服务架构的兴起&#xff0c;API的数量…

ARM/Linux嵌入式面经(十):极氪

开篇强调两个事情: pdf文件都在百度网盘群:911289806一定要把超链接里面的文章看了,那都是为了你们写的。老板!!!现在多学点,涨个2k工资,真的很值得。要不吃学习的苦,要不吃生活的苦。 1. 自我介绍 专开新篇,等我! 2. 项目介绍,提问 专开新篇,等我! 3. SPI通信和…

A股本周在3000点以下继续筑底,本周依然继续探底?

夜已深&#xff0c;市场传来了3个浓烈的消息&#xff0c;炸锅了&#xff0c;恐有大事发生&#xff0c;马上告诉所有人&#xff1a; 消息面&#xff1a; 1、中国经济周刊首席评论员钮文新称&#xff1a;不要等中小投资者都彻底希望&#xff0c;销户离场了&#xff0c;才发现该…

【APK】Unity出android包,报错 Gradle build failed.See the Console for details

参考大佬的博客&#xff1a;报错&#xff1a;Gradle build failed.See the Console for details.&#xff08;已解决&#xff09;_starting a gradle daemon, 1 incompatible daemon co-CSDN博客 本地出Android包&#xff0c;Build失败 解决办法&#xff1a; 1.下载一个低版本…

python怎么定义全局变量?如何使用全局变量?

许多小伙伴们在学习 python 的函数的时候会遇到这两个问题&#xff0c;那就是变量的作用域与全局变量的使用。那么什么是全局变量呢&#xff1f;python 怎么定义全局变量&#xff1f;通过本篇文章小编讲给你听。 首先得知道&#xff0c;什么是全局变量&#xff0c;什么是局部…

C/C++服务器基础(网络、协议、数据库)

Socket Socket是对网络中不同主机上的应用进程之间进行双向通信的端点的抽象。它可以看成是两个网络应用程序进行通信时&#xff0c;各自通信连接中的端点。Socket上联应用进程&#xff0c;下联网络协议栈&#xff0c;是应用程序通过网络协议进行通信的接口&#xff0c;是应用…

c++语法之缺省参数

缺省参数通俗来说就是一个函数里面有初值的参数。有初值那么就可以不传参。 基础语法 缺省分为全缺省和半缺省 全缺省 我们来看它的基础语法&#xff0c;我们以add函数为例: 语法基础就是在给要规定成缺省参数的变量后面一个值 我们可以看到给add传参就会使用默认的数据。…

MySQL EXPLAIN 中的 type 和 ref 字段

在 MySQL 中&#xff0c;EXPLAIN 语句用于分析 SQL 查询的执行计划。EXPLAIN 输出的结果中包含多个字段&#xff0c;其中 type 和 ref 字段是理解查询执行方式的重要部分。 type 字段 type 字段表示 MySQL 在查询过程中使用的访问类型&#xff0c;反映了查询的效率。访问类型从…

跨语言的智能:在多种编程环境中部署Mojo模型

跨语言的智能&#xff1a;在多种编程环境中部署Mojo模型 在当今的软件开发领域&#xff0c;多样化的编程语言和技术栈共存。Mojo模型&#xff0c;作为H2O.ai提供的一种模型部署格式&#xff0c;允许机器学习模型在不同的编程环境中运行&#xff0c;无需依赖原始的模型训练环境…

精准选择广告工具,提升推广效果

在考虑使用巨量引擎之前&#xff0c;我们首先要明白它的本质。巨量引擎是一个付费广告平台&#xff0c;包含了多种推广工具&#xff0c;如巨量ID、巨量千川、巨量本地推&#xff0c;以及企业蓝V等。很多人希望通过这个平台提升抖音账号的流量和曝光度&#xff0c;但真正有效的流…

Failed to detect a default CUDA architecture 的参考解决方法

文章目录 写在前面一、问题描述二、解决方法参考链接 写在前面 自己的测试环境&#xff1a; Ubuntu20.04 一、问题描述 编译调用CUDA的程序时&#xff0c;遇到如下报错&#xff1a; -- The CUDA compiler identification is unknown CMake Error at /usr/local/share/cmake…

刷题——输出二叉树的右视图

输出二叉树的右视图_牛客题霸_牛客网 两个考点&#xff1a; 给出前序和后续遍历的二叉树&#xff0c;构建二叉树 二叉树构建后&#xff0c;输出右视图 class Solution { public:/*** 代码中的类名、方法名、参数名已经指定&#xff0c;请勿修改&#xff0c;直接返回方法规定…

uniapp版即时通讯软件 IM社交交友聊天系统 语音视频通话双端APP 聊天交友APP源码 (含搭建教程)

修复音视频&#xff08;官方团队插件&#xff0c;无二次费用&#xff09;&#xff0c;文件发送&#xff0c;公告&#xff0c;签到&#xff0c;发现页&#xff0c;朋友圈删除&#xff0c;轮询客服&#xff0c;马甲等 可内嵌第三方网页连接&#xff0c;后台添加&#xff0c;带完…

从零开始做题:好怪哦

题目 给出一个压缩文件 解题 方法1 01Edit打开&#xff0c;发现是个反着的压缩包&#xff08;末尾倒着的PK头&#xff09; import os# 目标目录路径 # target_directory /home/ai001/alpaca-lora# 切换到目标目录 # os.chdir(target_directory)# 打印当前工作目录以确认…