手机端可部署的开源大模型
目录
- 手机端可部署的开源大模型
- Qwen2.5 0.5B 7b 推理采用手机内存需要多少
- Qwen2.5 0.5B
- 不同量化精度下的内存需求
- Qwen2.5 7B
- 不同量化精度下的内存需求
- 通义千问2.5训练和推理需要的内存和外存
- 推理阶段
- 1. Qwen2.5 - 7B
- 2. Qwen2.5 - 14B
- 3. Qwen2.5 - 72B
- 训练阶段
- 1. Qwen2.5 - 7B
- 2. Qwen2.5 - 14B
- 3. Qwen2.5 - 72B
- Qwen2.5 0.5B
- 推理阶段
- 训练阶段
- Qwen2.5 3B
- 推理阶段
- 训练阶段
- OpenELM：由苹果公司开源，在AI代码社区Hugging Face上发布。它由多个旨在高效执行文本生成任务的小模型组成，有2.7亿、4.5亿、11亿与30亿参数四种规模，各模型均有预训练与指令微调两个版本。采用层级缩放策略，在公开数据集预训练后微调，能在商用笔记本电脑甚至部分智能手机上运行。苹果公司在“示例代码许可证”下发布了模型权重等相关内容。
- Ministraux：由法国Mistral.AI开源，有Ministral 3B和8B两个版本，专为手机、平板、笔记本等移动设备设计。在文本生成、推理、函数调用和效率方面表现出色，支持128k上下文长度，在主流基准测试平台中的分数较高，超过了谷歌的Gemma-2、Meta的Llama-3.2等模型。
- Gemma 2B：谷歌发布的紧凑型高性能LLM，利用多查询注意力机制，减少推理期间对内存带宽的需求，适合内存带宽有限的设备端场景。仅用20亿个参数，在语言理解、推理和安全等方面的学术基准测试上成绩出色，在18项基于文本的任务中，11项表现胜过大小相似的开放模型。
- Phi-2：微软的小型模型，有27亿个参数。在某些基准测试中ÿ
)
