目录
基础VLM模型CLIP
CLIP (Contrastive Language-Image Pre-training)
clip的再训练
CLIP-Chinese
轻量化VLM探索：MobileVLM V2
怎么预训练VLMs？
TurboMind LLM推理引擎
基础VLM模型CLIP
CLIP (Contrastive Language-Image Pre-training)
基本思想：CLIP的基本算法原理是文本和图像在特征域进行对齐。
主流VLM原理深入刨析（CLIP，BLIP，BLIP2，Flamingo，LLaVA，MiniCPT，InstructBLIP，mPLUG-owl）-CSDN博客
模型结构：为了对image和text建立联系，首先分别对image和text进行特征提取，image特征提取的backbone可以是resnet系列模型也可以是VIT系列模型；text特征提取目前一般采用bert模型。特征提取之后，由于做了normalize，直接相乘来计算余弦距离，同一pair对的结果趋近于1，不同pair对的结果趋近于0，因为就可以采用对比损失loss（info-nce-loss）【这里要比较大的batch size才能有效果，类似于维护一个大的特征相似度矩阵】
原文链接：https://blog.csdn.net/weixin_54338498/article/details/135258723
clip的再训练
CLIP模型的使用和训练-利用CLIP实现zero-shot的分类任务_clip训练-CSDN博客
CLIP-Chinese
https://github.com/yangjianxin1/CLIP-Chinese
轻量化VLM探索：MobileVLM V2
https://zhuanlan.zhihu.com/p/681878699
部署参数：
'default"={Conversation
"llama 2'={Conversation
'plain'= {Conversation}
'llava_llama_2'
'v1'=
怎么预训练VLMs？
目前主流的以CLIP为典型代表的Vision-Language Model(VLM)预训练方法可以大致分为3个关键模块：
- 文本特征提取模块，通常采用Transformer结构及其一系列变体作为基础结构。
- 图像特征提取模块，通常采用CNN（以ResNet结构为典型代表）或者Transformer（如ViT、MAE等结构）来提取图像特征。
- 特征融合模块
https://zhuanlan.zhihu.com/p/623877502
TurboMind LLM推理引擎
参考博文：
学习笔记 | LMDeploy 量化部署 LLM-VLM 实践_vlm 大模型 封装-CSDN博客
TurboMind是LMDeploy团队开发的一款关于LLM推理的高效推理引擎，它的主要功能包括：LLaMa 结构模型的支持，continuous batch 推理模式和可扩展的 KV 缓存管理器。
TurboMind推理引擎仅支持推理TurboMind格式的模型。因此，TurboMind在推理HF格式的模型时，会首先自动将HF格式模型转换为TurboMind格式的模型。该过程在新版本的LMDeploy中是自动进行的，无需用户操作。
几个容易迷惑的点：
TurboMind与LMDeploy的关系：LMDeploy是涵盖了LLM 任务全套轻量化、部署和服务解决方案的集成功能包，TurboMind是LMDeploy的一个推理引擎，是一个子模块。LMDeploy也可以使用PyTorch作为推理引擎。
TurboMind与TurboMind模型的关系：TurboMind是推理引擎的名字，TurboMind模型是一种模型存储格式，TurboMind引擎只能推理TurboMind格式的模型。
)
