Qwen及Qwen-audio可微调项目调研
- 可用来微调方法/项目汇总
- ps.大语言模型基础资料
可用来微调方法/项目汇总
- Qwen github 项目自带的finetune脚本
可以参考https://blog.csdn.net/qq_45156060/article/details/135153920 - PAI-DSW中微调千问大模型(阿里云的一个产品)
https://gallery.pai-ml.com/#/preview/deepLearning/nlp/qwen_1_8b_chat
https://zhuanlan.zhihu.com/p/677059792 - 魔搭社区的微调框架SWIFT已经支持了Qwen1.5全系列模型的微调和推理
https://zhuanlan.zhihu.com/p/681662566 - Firefly项目微调千问大模型
https://blog.csdn.net/sinat_37574187/article/details/132107473
https://github.com/yangjianxin1/Firefly - https://github.com/hiyouga/LLaMA-Efficient-Tuning
改名了 https://github.com/hiyouga/LLaMA-Factory - 基于llama的高star的github开源项目汇总
(1)https://github.com/FlagAlpha/Llama2-Chinese
(2)https://github.com/hiyouga/LLaMA-Efficient-Tuning
改名了 https://github.com/hiyouga/LLaMA-Factory
(3)https://github.com/yangjianxin1/Firefly
(4)https://github.com/LinkSoul-AI/Chinese-Llama-2-7b
(5)https://github.com/michael-wzhu/Chinese-LlaMA2
以上的项目,目前只有SWIFT框架支持Qwen-audio的微调。
ps.大语言模型基础资料
- 大语言模型入门
https://www.cnblogs.com/yourenbo/p/18060256 - 通俗解读大模型微调(主要解释基础概念)
https://www.wehelpwin.com/article/4231 - 大模型微调项目/数据集调研汇总(时间有点早了,早期的模型和项目)
https://zhuanlan.zhihu.com/p/624079704?utm_id=0