现在各类chat AI不胜枚举,开源的闭源的都有,ChatGLM-6B是其中一个开源的chat AI模型,我们可以使用mindspore轻松的跑起来这个模型
官方提供的jupyter示例里面却少了安装mindnlp和mdtex2html,所以需要先把这两个模块安装一下。
!pip install mindnlp
!pip install mdtex2html
然后就可以跑代码了
from mindnlp.transformers import AutoModelForSeq2SeqLM, AutoTokenizer
import gradio as gr
import mdtex2htmlmodel = AutoModelForSeq2SeqLM.from_pretrained('ZhipuAI/ChatGLM-6B', mirror="modelscope").half()
model.set_train(False)
tokenizer = AutoTokenizer.from_pretrained('ZhipuAI/ChatGLM-6B', mirror="modelscope")
受限于算力原因,回复的速度比较慢。