【大模型】LLaMA-Factory的环境配置、微调模型与测试

前言

【一些闲扯】
时常和朋友闲聊，时代发展这么快，在时代的洪流下，我们个人能抓住些什么呢。我问了大模型，文心一言是这样回答的：

  • 在快速发展的时代背景下，个人确实面临着诸多挑战，但同时也充满了机遇。尽管时代洪流滚滚向前，我们依然可以抓住一些关键要素，以实现个人成长和价值提升…（一些建议）… 记住，每个人的成长路径都是独一无二的，找到适合自己的方式并坚持下去才是最重要的。
     

哈哈跟没回答一样，毕竟是一个开放命题，还是要落到个人的行动上的。

先动起来吧，我的大模型的记录终于开始了。接下来将会做的事情：

  1. 将transfomer、GPT系列、Bert等论文进行下论文阅读、解析记录。
  2. 大模型相关的框架、库的使用，工程相关的知识体系。
  3. 高star的开源工程的环境配置与运行。
     

自主了解和记录会按照上面的顺序。而实际执行时受项目需要，顺序会换一换。

【日常常用大模型】
另外，自己日常工作中，常用的大模型有通义千问、文心一言、Kimi。以下的纯个人使用感受：

  • 通义千问：在提问技术问题时，会直接对问题展开解释和解决办法、或者实现对应的代码片段，其变量命名很精准。在代码类问题上使用感受较好。个人最常用。
  • 文心一言：提问技术问题时，总觉得会有前摇，当然回答得核心问题也是OK的。对非技术的问题的回答，用词更丰富些。
  • Kimi：最大的好处是会联网搜索当下新的技术知识。另外对文档内容的提取能力很优秀。
     

个人在界面上比较倾向通义千问。
在实际使用上，需要编写文档和生动的文词，使用文心一言；问代码工程类问题，选择通义千问；当通义千问回答不出来时候，就找Kimi了。当然无论哪个模型回答的代码或文本，是要抱有怀疑值，是要阅读和验证的，因为有时大模型真的会一本正经的乱说。

【大模型问答示例】

  • 文心一言
    在这里插入图片描述
  • 通义千问
    在这里插入图片描述在这里插入图片描述
  • Kimi
    在这里插入图片描述

OK，前面讲了一堆，接下来进入正题：大模型的微调工程-——LLaMA-Factory。

1 工程介绍

  • 作者： LLaMa Factory 的团队负责人是郑耀威，北京航空航天大学的博士生。
  • 论文链接：http://arxiv.org/pdf/2403.13372
  • github链接：https://github.com/hiyouga/LLaMA-Factory
  • 具体功能：LLaMA-Factory是一个开源的大型语言模型（LLM）微调框架，旨在帮助开发者高效地微调和部署大型语言模型。
  • 项目结构：LLaMA-Factory 的项目结构通常包括以下几个部分：
    • 模型库：包含支持的预训练模型。
      微调方法：包含不同的微调技术实现。
      数据集：提供或支持多种数据集，用于微调。
      训练和评估：提供训练和评估模型的脚本和工具。
      推理接口：提供模型推理的接口和工具。

在这里插入图片描述

2 环境配置

2.1 硬件与环境

  • 显卡型号：建议不低于3090，显存尽量24G+。这样可以训练比较主流的入门级别大模型 7B左右的版本。
    在这里插入图片描述
  • CUDA版本，推荐使用12.2。查看自己的设备中的cuda版本的命令 nvidia-smi
    在这里插入图片描述

2.2 运行环境配置

  • 终端键入如下命令
    ## 创建虚拟环境
conda create -n llama_factory python=3.11 -c conda-forge
## 激活虚拟环境
conda activate llama_factory
## 环境安装
pip install -e ".[torch,metrics]"
## 这里我从modelscope下载模型，所以要进行库的安装
pip install modelscope -U
  • 环境安装结束后，查看版本信息
    llamafactory-cli version

在这里插入图片描述

  • 查看gpu是否能被调用起来
    python -c "import torch; print(torch.__version__); print(torch.cuda.is_available())"

在这里插入图片描述
上面的内容都正确运行结束后，说明环境配置已经完成。

3 LLaMa Factory 微调模型（使用web方式）

3.1 界面开启

  1. 设置使用modelscope下载模型，终端键入内容如下。也可在工程中 .env.local 文件中设置。
    export USE_MODELSCOPE_HUB=1
  2. 下载的大模型，一般都是几个G左右，所以下载的路径尽量不要放在系统盘，优先选择挂载的数据盘。所以就需要设置下对应的路径，终端键入内容如下，后面的路径根据自己实际情况更换。
    export MODELSCOPE_CACHE="/opt/ai-platform/lldataset/240/modelscope/"
export MODELSCOPE_MODULES_CACHE="/opt/ai-platform/lldataset/240/modelscope/modelscope_modules"
  3. 开启web界面
    llamafactory-cli webui

方便起见，上面的命令可以写在一个bash文件中。具体的，在根目录创建个 run_with_webui.sh，里面的内容为如下。当然也可以将其配置的系统环境变量当中，这里使用临时方式。

export USE_MODELSCOPE_HUB=1 # 使用 modelscope 下载模型 
export MODELSCOPE_CACHE="/opt/ai-platform/lldataset/240/modelscope/"
export MODELSCOPE_MODULES_CACHE="/opt/ai-platform/lldataset/240/modelscope/modelscope_modules"llamafactory-cli webui

运行结束后，在浏览器的http://localhost:7860/中可以打开大模型训练界面。WebUI 主要分为四个界面：训练、评估与预测、对话、导出。

3.2 模型微调训练

在开始训练模型之前，需要指定的参数有：

  1. 模型名称及路径
  2. 微调方法
  3. 训练数据集
  4. 学习率、训练轮数等训练参数
  5. 微调参数等其他参数
  6. 输出目录及配置路径
     

尝试如下图，设置好后开启训练。
若需要量化，在【量化等级】中，选择对应的数值即可，量化会带来精度损失，但显存占用会降低。
在这里插入图片描述在这里插入图片描述
第一次调用会耗费些时间，下载模型和数据（可在终端的打印的信息查看进度）。
运行时可能会报错：

  • 若存在库缺失，pip安装即可；
  • 可能报错，说modelscope和datasets的库不兼容，安装兼容版本即可。个人使用可运行版本如下
    在这里插入图片描述
    训练结束后界面显示如下：
    在这里插入图片描述

3.3 微调模型的测试效果

为了对比基座模型和微调模型的差异，在【Chat】界面，分别调用基座模型和微调模型的进行问答，问题来源于训练时使用的数据集。训练时的数据内容如下：
在这里插入图片描述

  1. 使用基座模型进行问答：
    在这里插入图片描述
    加载模型后，在界面的最下端输入要问的问题。基座模型回答如下
    在这里插入图片描述
  2. 微调模型进行问答：
    注意：要先进行【卸载模型】，否则显存没有释放，剩余显存可能无法加载新的模型。
    在这里插入图片描述
    微调模型回答如下，发现回答内容与数据集中的答案并不相符。
    分析原因，应该是初始学习率偏小，然后学习的轮次也偏少，导致微调模型欠拟合。
    在这里插入图片描述
  3. 接下来就是根据经验调参，可以再尝试下，学习率修改为5e-4，epoch为6。

3.4 微调模型的合并与导出

  1. 先在【Chat】将要导出的微调模型 进行加载
    在这里插入图片描述
  2. 先在【Export】设置好导出路径，开始导出
    在这里插入图片描述

4 LLaMa Factory 微调模型（源码方式）

4.1 运行命令

依然选择modelscope来下载模型。工程根目录创建 run_with_command.sh。里面的内容编辑如下：

export USE_MODELSCOPE_HUB=1 # 使用 modelscope 下载模型 
export MODELSCOPE_CACHE="/opt/ai-platform/lldataset/240/modelscope/"
export MODELSCOPE_MODULES_CACHE="/opt/ai-platform/lldataset/240/modelscope/modelscope_modules"llamafactory-cli train examples/train_lora/llama3_lora_sft.yaml

运行后，若模型能正常下载则继续训。但模型下载可能存在异常。

4.2 模型的下载问题

我这里报错，基座模型路径不存在。
在这里插入图片描述
于是，使用直接去 modelscope上获取对应模型下载命令。方法如下：

  • 登录网址：https://www.modelscope.cn/my/overview

  • 搜索所需模型：
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

  • 选择使用 modelscope download --model ***命令进行下载。想要将模型下载到指定路径，则跟一个参数即可，最终命令如下

    modelscope download --model LLM-Research/Meta-Llama-3-8B-Instruct \--local_dir /opt/ai-platform/lldataset/240/modelscope/hub/meta-llama/Meta-Llama-3-8B-Instruct

    然后等下载结束即可
    在这里插入图片描述
     

  • 【配置文件的修改】
    对应的要进行配置文件的修改。训练时调用的是 examples/train_lora/llama3_lora_sft.yaml，文件内需要修改个配置 model_name_or_path为上一步下载的模型路径；另外这里修改了训练的数据集为中文的数据集。

    ### model 
# 指定了要使用的预训练模型名字或路径。这里使用的是 meta-llama/Meta-Llama-3-8B-Instruct，这是一个经过指令调优的 8B 参数的 LLaMA 模型。
# model_name_or_path: meta-llama/Meta-Llama-3-8B-Instruct
model_name_or_path: /opt/ai-platform/lldataset/240/modelscope/hub/meta-llama/Meta-Llama-3-8B-Instruct### method
stage: sft             # 指定了微调的阶段，这里是 sft（Supervised Fine-Tuning），表示监督微调。
do_train: true         # 指定了是否进行训练。
finetuning_type: lora  # 指定了微调的类型，这里是 lora。
lora_target: all       # 指定了要进行 lora 微调的目标，这里是 all，表示对所有层进行微调。### dataset
# dataset: identity,alpaca_en_demo  # 指定了要使用的数据集，这里是 identity 和 alpaca_en_demo。
dataset: alpaca_zh_demo           # 使用中文的一个数据集，。
template: llama3                  # 指定了要使用的模板，这里是 llama3。
cutoff_len: 2048                  # 指定了截断长度，这里是 2048。
max_samples: 1000                 # 指定了最大样本数，这里是 1000。
overwrite_cache: true             # 指定了是否覆盖缓存。
preprocessing_num_workers: 16     # 指定了预处理时的工作线程数，这里是 16。### output
output_dir: saves/llama3-8b/lora/sft   # 指定了输出目录，这里是 saves/llama3-8b/lora/sft。
logging_steps: 10                      # 指定了日志输出的步数，这里是 10。
save_steps: 500                        # 指定了保存模型的步数，这里是 500。
plot_loss: true                        # 指定了是否绘制损失曲线。
overwrite_output_dir: true             # 指定了是否覆盖输出目录。### train
per_device_train_batch_size: 1       # 指定了训练时每个设备的批量大小，这里是 1。
gradient_accumulation_steps: 8       # 指定了梯度累积的步数，这里是 8。
learning_rate: 1.0e-4                # 指定了学习率，这里是 1.0e-4。
num_train_epochs: 3.0                # 指定了训练的总轮数，这里是 3.0。
lr_scheduler_type: cosine            # 指定了学习率调度器的类型，这里是 cosine。
warmup_ratio: 0.1                    # 指定了预热比例，这里是 0.1。
bf16: true                           # 指定了是否使用 bf16 精度。
ddp_timeout: 180000000               # 指定了 ddp 超时时间，这里是 180000000。### eval
val_size: 0.1                          # 指定了验证集的大小，这里是 0.1。
per_device_eval_batch_size: 1          # 指定了验证时每个设备的批量大小，这里是 1。
eval_strategy: steps                   # 指定了评估策略，这里是 steps。
eval_steps: 500                        # 指定了评估的步数，这里是 500。

完成以上操作，运行run_with_command.sh后，可正常开启训练。训练结束后，如下图：
在这里插入图片描述

4.3 微调模型的对话测试

  1. run_with_command.sh文件修改内容如下：
    export USE_MODELSCOPE_HUB=1 # 使用 modelscope 下载模型 
export MODELSCOPE_CACHE="/opt/ai-platform/lldataset/240/modelscope/"
export MODELSCOPE_MODULES_CACHE="/opt/ai-platform/lldataset/240/modelscope/modelscope_modules"# llamafactory-cli train examples/train_lora/llama3_lora_sft.yaml
llamafactory-cli chat examples/inference/llama3_lora_sft.yaml
  2. 打开examples/inference/llama3_lora_sft.yaml文件，同样的需要修改基座模型路径。
    若使用基座模型开启对话，修改后如下：
    # model_name_or_path: meta-llama/Meta-Llama-3-8B-Instruct
model_name_or_path: /opt/ai-platform/lldataset/240/modelscope/hub/meta-llama/Meta-Llama-3-8B-Instruct
template: llama3
    若使用微调模型开启对话，修改后如下：
    # model_name_or_path: meta-llama/Meta-Llama-3-8B-Instruct
model_name_or_path: /opt/ai-platform/lldataset/240/modelscope/hub/meta-llama/Meta-Llama-3-8B-Instruct
adapter_name_or_path: saves/llama3-8b/lora/sft
template: llama3
finetuning_type: lora
  3. 终端键入sh run_with_command.sh。就可以开启和大模型的对话了在这里插入图片描述

4.4 LLaMa Factory 微调模型的合并

上面的两种方式，调用微调模型时，都需要同时加载基座模型。在实际使用时，希望仅使用一个大模型即可，所以这里有个合并的操作。

  1. run_with_command.sh文件修改内容如下：

    export USE_MODELSCOPE_HUB=1 # 使用 modelscope 下载模型 
export MODELSCOPE_CACHE="/opt/ai-platform/lldataset/240/modelscope/"
export MODELSCOPE_MODULES_CACHE="/opt/ai-platform/lldataset/240/modelscope/modelscope_modules"# llamafactory-cli train examples/train_lora/llama3_lora_sft.yaml
# llamafactory-cli chat examples/inference/llama3_lora_sft.yaml
llamafactory-cli export examples/merge_lora/llama3_lora_sft.yaml

  2. 打开examples/merge_lora/llama3_lora_sft.yaml文件，同样的需要修改基座模型路径。
    注意事项：不要在合并 LoRA 适配器时使用量化模型或设置量化位数。这可能会导致合并失败或模型性能下降。

    ### model
# model_name_or_path: meta-llama/Meta-Llama-3-8B-Instruct
model_name_or_path: /opt/ai-platform/lldataset/240/modelscope/hub/meta-llama/Meta-Llama-3-8B-Instruct
adapter_name_or_path: saves/llama3-8b/lora/sft
template: llama3
finetuning_type: lora### export
export_dir: models/llama3_lora_sft
export_size: 2
export_device: cpu   ## 导出时使用的设备
export_legacy_format: false

  3. 终端键入sh run_with_command.sh。成功运行后，在保存路径下生成合并模型。在这里插入图片描述

5 将微调模型仿 OpenAI 兼容接口

5.1 服务的启动

  1. 打开examples/inference/llama3_vllm.yaml，文件内修改个model_name_or_path为微调模型的导出路径。
    model_name_or_path: models/llama3_lora_sft
template: llama3
infer_backend: vllm
vllm_enforce_eager: true
  2. 终端键入命令如下
    API_PORT=8000 llamafactory-cli api examples/inference/llama3_vllm.yaml
    正常的话，服务应可以正确开启。终端界面如下图：
    在这里插入图片描述
  3. 可能存在报错
    ValueError: Bfloat16 is only supported on GPUs with compute capability of at least 8.0. Your Tesla V100-SXM2-32GB GPU has compute capability 7.0. You can use float16 instead by explicitly setting the`dtype` flag in CLI, for example: --dtype=half.
    在这里插入图片描述
    具体原因：GPU 不支持 bfloat16 数据类型。具体的，Tesla V100-SXM2-32GB GPU 的计算能力为 7.0，而 bfloat16 需要至少 8.0 的计算能力。
    解决方案：float16 数据类型代替 bfloat16。
    具体操作：尝试在yaml文件配置，以及终端命令加上对应的参数，均无法正确运行。那就最简单粗暴的方式，在源码中强行设置dtype。
    在文件 src/llamafactory/chat/vllm_engine.py中搜索和添加内容如下
    ## 添加
engine_args['dtype'] = "float16"
## 搜索
self.model = AsyncLLMEngine.from_engine_args(AsyncEngineArgs(**engine_args))
    修改后即可正常运行。

5.2 命令行测试

【服务器上发送请求】

  • 服务器上另起一个终端，键入如下命令
    curl -X POST http://127.0.0.1:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-H "Authorization: Bearer x" \
-d '{"model": "llama3_lora_sft","messages": [{"role": "user","content": "1+1 等于几？"}],"max_tokens": 4096
}'
    若正常运行，打印如下：
    在这里插入图片描述
     

【本地发送请求】

  • 若想在本地发送请求，则需把命令中的ip切换成服务器的。
  • 但我这里报错无法连接服务。
    在这里插入图片描述
    要解决从本地机器访问远程服务器上的服务的问题，可以使用 SSH 隧道（也称为端口转发），从而绕过防火墙和网络限制。SSH 隧道可以将本地机器上的一个端口转发到远程服务器上的一个端口，从而实现从本地机器访问远程服务。
    具体操作如下：
    • 1 在本地终端运行命令
      ssh -L 8000:127.0.0.1:8000 LL@10.91.208.210
      【-L 8000:127.0.0.1:8000】 这部分指定了端口转发的配置。
      【8000】本地机器上的端口。
      【127.0.0.1:8000】 远程服务器上的目标地址和端口。
      【LL@10.91.208.210】 远程服务器的登录信息。
    • 2 输入密码
      执行上述命令后，系统会提示你输入远程服务器的密码。输入密码后，SSH 隧道就会建立。
    • 3 在本地测试
      现在，你可以通过本地的 8000 端口访问远程服务器上的服务：
      curl -X POST http://127.0.0.1:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-H "Authorization: Bearer x" \
-d '{"model": "llama3_lora_sft","messages": [{"role": "user","content": "1+1 等于几？"}],"max_tokens": 4096
}'
      可看到服务的相应如下。注意：要保持 SSH 隧道连接状态。如果连接断开，需要重新运行上述命令来重新建立隧道。.在这里插入图片描述

5.3 可视化测试

下载安装NextChat的release版本的windows 版本。下载后傻瓜式安装。https://github.com/ChatGPTNextWeb/ChatGPT-Next-Web/releases
在这里插入图片描述
在这里插入图片描述
先写到这吧，后续待补充。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/pingmian/62019.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Web 表单开发全解析：从基础到高级掌握 HTML 表单设计

Web 表单开发全解析：从基础到高级掌握 HTML 表单设计

文章目录 前言一、什么是 Web 表单？二、表单元素详解总结前言 在现代 Web 开发中，表单 是用户与后端服务交互的重要桥梁。无论是用户登录、注册、搜索，还是提交反馈，表单都无处不在。在本文中，我们将从基础入手，全面解析表单的核心知识点，并通过示例带你轻松掌握表单开…
阅读更多...
nodepad配置c/c++ cmd快速打开创建项目文件

nodepad配置c/c++ cmd快速打开创建项目文件

前提:下载MinGw,并且配置环境变量 点击阅读次篇文章配置MinGw 无论是哪个编译器，执行c文件都是经历以下步骤: 编译文件生成exe文件执行该exe文件 我们先手动完成这两部 手动编译文件使用指令 gcc {你的c文件} -o {生成文件名}生成exe文件 第二步运行exe直接点击该文…
阅读更多...
打造优秀技术文档的三大方向

打造优秀技术文档的三大方向

✅作者简介：2022年博客新星 第八。热爱国学的Java后端开发者，修心和技术同步精进。 🍎个人主页：Java Fans的博客 🍊个人信条：不迁怒，不贰过。小知识，大智慧。 💞当前专栏…
阅读更多...
Xcode15（iOS17.4）打包的项目在 iOS12 系统上启动崩溃

Xcode15（iOS17.4）打包的项目在 iOS12 系统上启动崩溃

0x00 启动崩溃 崩溃日志，只有 2 行，看不出啥来。 0x01 默认配置 由于我开发时，使用的 Xcode 14.1，打包在另外一台电脑 Xcode 15.3 Xcode 14.1 Build Settings -> Asset Catalog Compliter - Options Xcode 15.3 Build S…
阅读更多...
如何使用GCC手动编译stm32程序

如何使用GCC手动编译stm32程序

如何不使用任何IDE（集成开发环境）编译stm32程序? 集成开发环境将编辑器、编译器、链接器、调试器等开发工具集成在一个统一的软件中，使得开发人员可以更加简单、高效地完成软件开发过程。如果我们不使用KEIL,IAR等集成开发环境，…
阅读更多...
QUICK 调试camera-xml解析

QUICK 调试camera-xml解析

本文主要介绍如何在QUICK QCS6490使能相机模组。QCS6490的相机基于CameraX的框架，只需通过配置XML文件，设置相机模组的相关参数，就可以点亮相机。本文主要介绍Camera Sensor Module XML和Camera Sensor XML配置的解析，这中间需要c…
阅读更多...
数据结构 （11）串的基本概念

数据结构 （11）串的基本概念

一、串的定义 1.串是由一个或者多个字符组成的有限序列，一般记为：sa1a2…an（n≥0）。其中，s是串的名称，用单括号括起来的字符序列是串的值；ai（1≤i≤n）可以是字母、数字或…
阅读更多...
汽车渲染领域：Blender 和 UE5 哪款更适用？两者区别？

汽车渲染领域：Blender 和 UE5 哪款更适用？两者区别？

在汽车渲染领域，选择合适的工具对于实现高质量的视觉效果至关重要。Blender和UE5（Unreal Engine 5）作为两大主流3D软件，各自在渲染动画方面有着显著的差异。本文将从核心定位与用途、工作流程、渲染技术和灵活性、后期处理与合成四…
阅读更多...
开源加密库mbedtls及其Windows编译库

开源加密库mbedtls及其Windows编译库

目录 1 项目简介 2 功能特性 3 性能优势 4 平台兼容性 5 应用场景 6 特点 7 Windows编译 8 编译静态库及其测试示例下载 1 项目简介 Mbed TLS是一个由ARM Maintained的开源项目，它提供了一个轻量级的加密库，适用于嵌入式系统和物联网设备。这个项…
阅读更多...
C语言数据结构——详细讲解 双链表

C语言数据结构——详细讲解 双链表

从单链表到双链表：数据结构的演进与优化 前言一、单链表回顾二、单链表的局限性三、什么是双链表四、双链表的优势1.双向遍历2.不带头双链表的用途3.带头双链表的用途 五、双链表的操作双链表的插入操作（一）双链表的尾插操作（二&a…
阅读更多...
MYSQL 表的增删改查（上）

MYSQL 表的增删改查（上）

目录 1.新增数据 2.查询数据 一般查询 去重查询 排序查询 关于NULL 条件查询 分页查询 1.新增数据 语法：insert into 表名[(字段1，字段2...)] values (值，值....); 插入一条新数据行，前面指定的列，要与后面v…
阅读更多...
Docker pull镜像拉取失败

Docker pull镜像拉取失败

因为一些原因，很多镜像仓库拉取镜像失败，所以需要更换不同的镜像，这是2024/11/25测试可用的仓库。 标题1、 更换镜像仓库的地址，编辑daemon.json文件 vi /etc/docker/daemon.json标题2、然后将下面的镜像源放进去或替换掉都可以…
阅读更多...
C语言学习 12（指针学习1）

C语言学习 12（指针学习1）

一.内存和地址 1.内存 在讲内存和地址之前，我们想有个⽣活中的案例： 假设有⼀栋宿舍楼，把你放在楼⾥，楼上有100个房间，但是房间没有编号，你的⼀个朋友来找你玩，如果想找到你，就得挨…
阅读更多...
VITE+VUE3+TS环境搭建

VITE+VUE3+TS环境搭建

前言（与搭建项目无关）： 可以安装一个node管理工具，比如nvm，这样可以顺畅的切换vue2和vue3项目，以免出现项目跑不起来的窘境。我使用的nvm，当前node 22.11.0 目录 搭建项目 添加状态管理库&…
阅读更多...
Zookeeper选举算法与提案处理概览

Zookeeper选举算法与提案处理概览

共识算法(Consensus Algorithm) 共识算法即在分布式系统中节点达成共识的算法，提高系统在分布式环境下的容错性。 依据系统对故障组件的容错能力可分为： 崩溃容错协议(Crash Fault Tolerant, CFT) : 无恶意行为，如进程崩溃，只要…
阅读更多...
ffmpeg视频滤镜：提取缩略图-framestep

ffmpeg视频滤镜：提取缩略图-framestep

滤镜描述 官网地址 > FFmpeg Filters Documentation 这个滤镜会间隔N帧抽取一帧图片&#xff0c;因此这个可以用于设置视频的缩略图。总体上这个滤镜比较简单。 滤镜使用 滤镜参数 framestep AVOptions:step <int> ..FV....... set frame st…
阅读更多...
微服务篇-深入了解使用 RestTemplate 远程调用、Nacos 注册中心基本原理与使用、OpenFeign 的基本使用

微服务篇-深入了解使用 RestTemplate 远程调用、Nacos 注册中心基本原理与使用、OpenFeign 的基本使用

&#x1f525;博客主页&#xff1a; 【小扳_-CSDN博客】 ❤感谢大家点赞&#x1f44d;收藏⭐评论✍ 文章目录 1.0 认识微服务 1.1 单体架构 1.2 微服务 1.3 SpringCloud 框架 2.0 服务调用 2.1 RestTemplate 远程调用 3.0 服务注册和发现 3.1 注册中心原理 3.2 Nacos 注册中心 …
阅读更多...
TCP/IP学习笔记

TCP/IP学习笔记

TCP\IP从实际应用的五层结构开始&#xff0c;自顶而下的去分析每一层。 TCP/IP五层架构概述 学术上面是TCP/IP四层架构&#xff0c;OSI/ISO是七层架构&#xff0c;实际中使用的是TCP/IP五层架构。 数据链路层 ICMP数据包分析 Wireshark抓包分析ICMP协议_wireshark抓ping包分析…
阅读更多...
互联网视频推拉流EasyDSS视频直播点播平台视频转码有哪些技术特点和应用？

互联网视频推拉流EasyDSS视频直播点播平台视频转码有哪些技术特点和应用？

视频转码本质上是一个先解码再编码的过程。在转码过程中&#xff0c;原始视频码流首先被解码成原始图像数据&#xff0c;然后再根据目标编码标准、分辨率、帧率、码率等参数重新进行编码。这样&#xff0c;转换前后的码流可能遵循相同的视频编码标准&#xff0c;也可能不遵循。…
阅读更多...
深入理解 Java 基本语法之运算符

深入理解 Java 基本语法之运算符

&#xff08;一&#xff09;研究背景 在 Java 编程中&#xff0c;运算符是处理数据和变量的基本工具&#xff0c;掌握各种运算符的使用方法对于提高编程效率至关重要。 &#xff08;二&#xff09;研究目的 深入理解 Java 基础运算符的概念、分类和作用&#xff0c;通过具体…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023