【背景】
考虑数据安全,又想用AI赋能企业内部的日常工作,答案只有一个,本地部署。
UI采用open-web-ui,模型用Ollama管理,在局域网做成SAAS服务。要组一个服务器,提供部门内部最多30个的API并发。以下为反复比对后得到的配置。
注意,之所以是最低配置,纯粹因为公司申请花钱麻烦,所以有条件的话当然直接双GPU,A100走起,320GDDR4走起。
穷人,只能花小钱办大事。
模型都是text generation,不涉及图片和视频生成。
每个单品硬件控制在5000元以下。
【具体配置】
"英特尔(Intel) i9-14900K
"金士顿(Kingston)FURY 128GB(32G×4)套装 DDR5 6000 台式机内存条
"技嘉(GIGABYTE)风魔 GeForce RTX 4070显卡
"技嘉Z790M AORUS ELITE/小雕/耐久主板
"技嘉(GIGABYTE)C102G全景式 机箱熏黑钢化玻璃侧透兼容360/240水冷散热器
"技嘉(GIGABYTE)AORUS 冰雕一体式CPU水冷散热器
"西部数据(WD) M.2 NVME 2230 SSD固态硬盘
【注意事项】
一些基础的注意事项包括,主板看是否支持14代CPU,版型是ATX还是MATX等,机箱需要匹配。
4070是穷人搞AI最有性价比的卡。
水冷必须一体式不然维护麻烦漏液风险大。
NVM读取速度快但要注意M2接口数量。
电源要看瓦数,目前这个配置至少要750W以上。
【实际效果】
用过再补充,希望能够足够跑服务。