Llama2
1、中文提问,英文的回答,对于中文不友好
2、网上还没有看到很详细的微调教程
3、虽然Llama2的预训练数据相对于第一代LLaMA扩大了一倍,但是中文预训练数据的比例依然非常少,仅占0.13%,这也导致了原始Llama2的中文能力较弱。不知道微调后有没有结果
Llama2-Chinese
之前没有上传微调的代码,最近上传了,可以试一试微调
AgentLM模型
网上资料很少,都是一些科普文章,官方给的资料不详细
1、收集并过滤得到一个多任务指令微调数据集 AgentInstrcut
2、将 AgentInstruct数据集与通用数据对模型进行混合微调
问题1、AgentInstrcut数据集,的文件格式看不懂,还不会用
AgentLM部署
1、github已经部署
但是docker下载模型要很久很久~(已经解决)
Error: DownloadError,
应该是后面下载模型连接huggingface.co,超时,
ChatGLM3
官方还没上传微调的代码,现在还做不了微调
Langchain
模型都已经下好,但是在知识库初始化时发生了报错,
跟着官方一步步来的,结果报错,所以也没有找到合适的解决方法,进度中断