ChatGLM-6B:GitHub - THUDM/ChatGLM-6B: ChatGLM-6B: An Open Bilingual Dialogue Language Model | 开源双语对话语言模型
ChatGLM3:
GitHub - THUDM/ChatGLM3: ChatGLM3 series: Open Bilingual Chat LLMs | 开源双语对话语言模型
chatglm.cpp:
GitHub - li-plus/chatglm.cpp: C++ implementation of ChatGLM-6B & ChatGLM2-6B & ChatGLM3 & more LLMs
可能出现的报错
报错:AttributeError: 'ChatGLMTokenizer' object has no attribute 'tokenizer'. Did you mean: 'tokenize'?
解决办法:报错的transformers版本 transformers==4.34.0
修改后的transformers版本transformers==4.33.2
pip uninstall transformers
pip install transformers==4.33.2
参考:ChatGLM-6B模型部署【BUG 记录】AttributeError: ‘ChatGLMTokenizer‘ object has no attribute ‘sp_tokenizer‘. Did-CSDN博客
微调参考:
官方:https://github.com/THUDM/ChatGLM-6B/tree/main/ptuning
其他:GitHub - liucongg/ChatGLM-Finetuning: 基于ChatGLM-6B、ChatGLM2-6B模型,进行下游具体任务微调,涉及Freeze、Lora、P-tuning、全参微调等
其他:
ChatGLM官网,清华技术,智谱AI开源的GLM系列的对话模型-ai导航