一、引言
大模型LLM英文全称是Large Language Model,是指包含超大规模参数(通常在十亿个以上)的神经网络模型。2022年11月底,人工智能对话聊天机器人ChatGPT一经推出,人们利用ChatGPT这样的大模型帮助解决很多事情,提高人们的工作效率。
利用大模型,多模态,RAG等具体技术,各种AI应用在各行各业落地。这些技术往往需要很高GPU算力等服务器资源,那么如何在本地运行大模型呢,发现了一个帮助在本地电脑运行大模型的工具 ollama。
二、简介
本文会介绍一下ollama如何安装以及运行大模型并和大模型进行交互对话,帮助我们回答问题,进行问答交互。
三、实践
- 下载安装ollama环境,访问ollama官网 就可以看到可爱的羊驼了,(Meta AI Meta AI 发布的预训练大语言基础模型(Large Language Model Meta AI)也就是LLaMA翻译过来就是羊驼的意思)。
根据自己电脑操作系统下载即可,ollama支持macOS, Linux, and Windows (preview)。
ollama 官网有模型库,选择自己感兴趣的大模型,敲命令就可以运行了,首次运行会先下载大模型包,大家要注意自己的磁盘大小。
- 使用命令运行大模型
ollama run llama2
- 这样就可以直接通过命令行和大模型进行问答交互了。
这样,通过命令行就可以和 llama2 大模型进行基本的问答了。