-
LLMs on a Phone:指在手机设备上运行的大型语言模型。
-
Scalable Personal AI:指用户可以在个人设备上对AI模型进行微调的技术。
-
Responsible Release:发布AI模型时考虑社会、法律和伦理影响的做法。
-
Multimodality:AI模型能处理和理解文本、图像、声音等多种类型数据的能力。
-
LLaMA:Meta公司开发的大型语言模型,社区泄露后引发创新和开发。
-
RLHF (Reinforcement Learning from Human Feedback):通过人类反馈训练AI模型的方法。
-
LoRA (Low Rank Adaptation):一种通过低秩分解降低更新矩阵大小的模型微调技术。
-
Chinchilla:可能指提高大规模语言模型效率的技术或模型结构。
-
Stable Diffusion:一个开源图像生成AI项目,使用生成对抗网络(GANs)产生高分辨率图像。
-
Dall-E:OpenAI开发的根据文本描述生成图像的AI模型。
-
Fine-tuning:在预训练模型基础上进一步训练优化特定任务性能的过程。
-
Stackable:指微调方法可堆叠应用,逐一叠加不同微调以提升模型表现。
-
Low rank:指矩阵中非零奇异值数量较少,微调时改变部分参数,保持结构大体不变。
-
Full-rank updates:更新模型所有参数的方法。
-
Datasets and tasks:机器学习模型训练所需的数据样本集合和模型需要完成的特定问题。
-
Distillation:一种模型压缩技术,训练小型神经网络模仿大型网络行为。
-
Model weights:连接神经网络神经元的参数,训练中学习得到,用于预测。
-
ULM (Universal Language Model):设计处理、理解、生成不同任务和领域内文本的模型。
-
Instruction Tuning:优化语言模型以更好理解并执行自然语言指令的过程。
-
Conversation Tuned:优化语言模型以提高进行自然语言对话的能力。
-
Alpaca:斯坦福大学发布的项目,对LLaMA模型进行指令调整。
-
alpaca-lora:GitHub代码库,使用低秩微调技术在RTX 4090上数小时内训练模型。
-
Quantization:减少模型权重位数,以减小模型大小并加速推理的过程。
-
Vicuna:发布与Bard功能相当的13B参数模型的跨大学合作项目。
-
GPT-4-powered eval:使用GPT-4模型评估技术,对其他模型输出进行定性比较。
-
ChatGPT API:提供外部开发者和应用程序访问ChatGPT功能的接口。
-
GPT4All:Nomic创建的模型及生态系统项目。
-
μ-parameterization (Micro-parameterization):模型规模优化方法,提高性能。
-
Parameter Efficient Fine Tuning (PEFT):参数高效微调技术,用较少可学习参数有效微调模型。
-
LLaMA-Adapter:使用PEFT技术,对LLaMA模型添加指令调整和多模态能力,快速训练。
-
ScienceQA:针对多模态科学问答的基准测试,评估模型性能。
-
Koala:加州大学伯克利分校发布的对话模型,使用公开数据训练。
-
Pythia-12B:12B参数的语言模型,用于LLaMA之外的实验和开发。
-
ChatGPT:OpenAI发行的基于GPT架构的大型对话式语言模型。
-
Data quality scales better than data size:优质数据对模型影响大于数据量增加的原则。