MOE模式：或将是最好的大模型应用开发路径

大模型相关目录

大模型，包括部署微调prompt/Agent应用开发、知识库增强、数据库增强、知识图谱增强、自然语言处理、多模态等大模型应用开发内容
从0起步，扬帆起航。

基于Dify的智能分类方案：大模型结合KNN算法（附代码）
OpenCompass：大模型测评工具
一文读懂多模态大模型基础架构
大模型管理平台：one-api使用指南
大模型RAG、ROG、RCG概念科普
RAGOnMedicalKG：大模型结合知识图谱的RAG实现
DSPy：变革式大模型应用开发
最简明的Few-shot Prompt指南
Semantic Kernel：微软大模型开发框架——LangChain 替代
对话大模型Prompt是否需要礼貌点？
swift与Internvl下的多模态大模型分布式微调指南（附代码和数据）
多模态大模型Internvl-1.5-26B微调后部署及测试实录（附代码）
多模态大模型Internvl-2-26B的OCR赋能方案（附代码）
miniconda+xinference的大模型推理部署指南
Mem0：大模型最强赋能“有记忆的LLM”
再谈Agent：Dify智能体实现Txet2SQL
Moe模式：或将是最好的大模型应用开发路径

文章目录

大模型相关目录
简介
实战
总结

简介

MOE（Mixture of Experts，混合专家）是一种机器学习模型架构，旨在通过结合多个专家网络来提高模型的性能和泛化能力。以下是传统模型和大模型中MOE模式的相关介绍及其优势。

传统模型中的MOE
在传统模型中，MOE通常由以下几个部分组成：

Gate网络：决定输入数据应该被路由到哪一个专家网络。Gate网络可以根据输入数据的特征来动态分配数据。
Expert网络：一系列专门的网络，每个网络都是针对特定数据分布进行训练的。Expert网络可以是对特定问题有深入理解的小模型。
组合层：将所有Expert网络的输出进行组合，形成最终的预测结果。

优势

提高泛化能力：不同的Expert可以学习数据的不同方面，从而提高模型对未知数据的泛化能力。
降低计算成本：不是所有Expert都会处理每个输入，Gate可以根据需要激活特定的Expert，这可以减少计算资源的使用。
灵活性强：可以很容易地通过增加或减少Expert来调整模型的大小和复杂度。

通俗地来讲，大模型中的MOE可以处理更加多样化的任务和数据类型进而提升应用效果，因为每个Expert都可以专注于不同的子任务或数据模式。简单地看，moe模式下的大模型应用开发本质上是对任务进行拆解，用大模型、小模型分工完成的一种思路。

实战

大部分代码参考文章：
https://blog.csdn.net/qq_43128256/article/details/140472280
该文章使用多模态大模型对人员学历信息进行ocr赋能，其中，绝大部分字段表现较好，精度如下：
人员姓名、学历层次识别准确率100%;性别识别准确率99.17%;专业识别准确率95.86%;毕业院校识别准确率92.56%;出生日期识别准确率90.91%毕业日期识别准确率88.42%;证件编号识别准确率36.3%.
可见，对于长编码的阿拉伯字符串内容识别，多模态大模型存在较大问题，因此有必要引入moe机制，使用传统小模型对内容进行处理。

代码：

#!/usr/bin/env python
# coding: utf-8# In[1]:import functions as fc
import json
import os
from config import *
import base64
from openai import OpenAI
import openai
import pandas as pdfrom paddleocr import PaddleOCR
# Paddleocr目前支持的多语言语种可以通过修改lang参数进行切换
# 例如`ch`, `en`, `fr`, `german`, `korean`, `japan`
ocr = PaddleOCR(use_angle_cls=True, lang="ch")  # need to run only once to download and load model into memoryConf = Config()
configs = Conf.get_config()ocr_result_path = configs.ocr_result_path
second_path = configs.second_path # mid# In[2]:def get_ocr_result(img_path):result = ocr.ocr(img_path, cls=False)return resultdef save_list_as_jsonl(data_list, file_path):"""将列表存储为JSONL格式的文件。参数:data_list -- 要存储的列表。file_path -- 输出文件的路径。"""with open(file_path, 'w', encoding='utf-8') as f:for item in data_list:json_line = json.dumps(item, ensure_ascii=False)f.write(json_line + '\n')def read_jsonl(file_path):"""读取JSONL格式的文件，并将每一行解析为一个Python对象。参数:file_path -- 要读取的JSONL文件的路径。返回:一个列表，包含文件中每一行解析后的Python对象。"""data_list = []with open(file_path, 'r', encoding='utf-8') as f:for line in f:data_list.append(json.loads(line))return data_listdef get_llm_ocr_response(input_text):client = openai.Client(api_key='YOUR_API_KEY', base_url='http://172.20.32.127:12335/v1')# 确保获取模型ID的代码是正确的models = client.models.list()if not models.data:print("No models found.")returnmodel_name = models.data[0].idtry:response = client.chat.completions.create(model=model_name,messages=[{"role": "system","content": "## 职位：你是一个信息抽取专家，可从原始文字信息中提取证书编号，并输出json格式化的识别结果"},{"role": "user","content": f"原始文字信息：\n{input_text}\n" + '''你需要从原始文字信息中提取证书编号，提取后返回的json格式参考如下：{"证书编号"："162391201905007614"}注意，提取不到时将提取内容标注“null”。注意，我不需要任何代码，请输出json格式结果，json严格按照上述格式。'''}],temperature=0,top_p=1)answer = response.choices[0].message.contentprint(answer)return answerexcept openai.error.BadRequestError as e:print(f"Error: {e}")print(f"Error details: {e.details}")def get_elements_with_string(lst, target_string):return [element for element in lst if target_string in element]def read_json_file(file_path):try:with open(file_path, 'r', encoding='utf-8') as file:data = json.load(file)return dataexcept FileNotFoundError:return "文件未找到。请检查文件路径是否正确。"except json.JSONDecodeError:return "文件内容不是有效的JSON。"except Exception as e:return f"读取文件时发生错误: {e}"# In[3]:file_paths = fc.list_files_with_absolute_paths(r'C:\Users\12258\Desktop\hy-vLLM\rysb\singel_code_test\code')ocr_results = []
for file_path in file_paths:print('OCR正在识别：',file_path)ocr_result = get_ocr_result(file_path)ocr_results.append({file_path.split('\\')[-1]:ocr_result})# In[4]:save_list_as_jsonl(ocr_results,'single_ocr_results.jsonl')# In[15]:ocr_results = read_jsonl('single_ocr_results.jsonl')
ocr_dict = {}
for orc_result in ocr_results:ocr_dict[list(orc_result.keys())[0]] = list(orc_result.values())[0]file_paths = fc.list_files_with_absolute_paths(second_path)current_path = os.getcwd()
ocr_json_path = os.path.join(current_path, "single_ocr_json")
fc.create_directory(ocr_json_path)for k,v in ocr_dict.items():
#     try:print(k)ocr_response = get_llm_ocr_response(v)data_dict = json.loads(fc.post_processing(ocr_response).replace('\\n','').replace('\\',''))fc.save_json_to_file(data_dict,ocr_json_path+'\\'+k.split('\\')[-1].split('.')[0]+'.json')
#     except Exception as e:
#         current_time_str = configs.now_time_str
#         fc.error_log('json save error!'+' '+k+' '+current_time_str)
#         print(f"保存JSON数据时发生错误: {e}")# In[29]:mid_excel_path = r"C:\Users\12258\Desktop\hy-vLLM\rysb\singel_code_test\已核对 - 副本.xlsx"
name_set = pd.read_excel(mid_excel_path)['学生姓名'].tolist()file_absolute_paths = fc.list_files_with_absolute_paths(r'C:\Users\12258\Desktop\hy-vLLM\rysb\student_infos_process_V20240715\single_ocr_json')
finall_json_ls = []
for name in name_set:#对于每个学生，定位其名下所有文件mid_file_paths = get_elements_with_string(file_absolute_paths,name)zhuanke_files = get_elements_with_string(mid_file_paths,'专')len_zhuanke_files = len(zhuanke_files)benke_files = get_elements_with_string(mid_file_paths,'本科')len_benke_files = len(benke_files)shuoshi_files = get_elements_with_string(mid_file_paths,'硕士')len_shuoshi_files = len(shuoshi_files)yanjiusheng_files = get_elements_with_string(mid_file_paths,'研究生')len_yanjiusheng_files = len(yanjiusheng_files)boshi_files = get_elements_with_string(mid_file_paths,'博士')len_boshi_files = len(boshi_files)error_flag = len_zhuanke_files+len_benke_files+len_shuoshi_files+len_yanjiusheng_files+len_boshi_files
#     print(name,error_flag)if error_flag == 0:current_time_str = configs.now_time_strprint(name,'file name error!')fc.error_log('file name error!'+' '+name+' '+current_time_str)else:if len_boshi_files:mid_file = get_elements_with_string(boshi_files,'毕业')if len(mid_file) == 0:passelse:finall_json_ls.append(mid_file[0])continueif yanjiusheng_files+shuoshi_files:mid_file = get_elements_with_string(yanjiusheng_files+shuoshi_files,'毕业')if len(mid_file) == 0:finall_json_ls.append((yanjiusheng_files+shuoshi_files)[0])continueelse:finall_json_ls.append(mid_file[0])continueif len_benke_files:mid_file = get_elements_with_string(benke_files,'毕业')if len(mid_file) == 0:finall_json_ls.append((benke_files)[0])continueelse:finall_json_ls.append(mid_file[0])continueif len_zhuanke_files:mid_file = get_elements_with_string(zhuanke_files,'毕业')if len(mid_file) == 0:finall_json_ls.append((zhuanke_files)[0])continueelse:finall_json_ls.append(mid_file[0])continuename_ls = []
sex_ls = []
birthday_ls = []
qualification_ls = []
time_ls = []
school_ls = []
major_ls = []
code_ls = []for finall_json in finall_json_ls:extract_flag = 0single_json_data = read_json_file(finall_json)try:code_ls.append(single_json_data['证书编号'].replace(' ',''))except:extract_flag = 1code_ls.append('null')if extract_flag:current_time_str = configs.now_time_strprint(finall_json,'file extract format error!')fc.error_log('file extract format error!'+' '+finall_json+' '+current_time_str)import pandas as pdresult_dict = {'证书编号':code_ls
}pd.DataFrame(result_dict).to_excel('ocr_code_result.xlsx',index=False)# In[34]:mid_excel_path = r"C:\Users\12258\Desktop\hy-vLLM\rysb\已核对.xlsx"
list1 = pd.read_excel(mid_excel_path)['证书编号'].tolist()
list2 = pd.read_excel(mid_excel_path)['MOE策略证书编号'].tolist()n = 0
for index in range(len(list1)):if str(list1[index]) == str(list2[index]):n+=1# ###  single_OCR_test# In[16]:file_paths = fc.list_files_with_absolute_paths(r'C:\Users\12258\Desktop\hy-vLLM\rysb\student_infos_process_V20240715\single_ocr_json')names = []
codes = []
for file_path in file_paths:mid_data = read_json_file(file_path)['证书编号']names.append(file_path.split('\\')[-1].split('.')[0])codes.append(mid_data)import pandas as pdresult_dict = {'姓名':names,'证书编号':codes
}pd.DataFrame(result_dict).to_excel('single_ocr_code_result.xlsx',index=False)

最终该字段精度提升至88%+，该方案的成功表面大模型moe模式下应用具有落地条件。

总结

事实上，moe开发中，对于传统模型还尝试了其他的子方案，内容如下：
针对长编码字段识别研究情况：
1.多模态模型端到端识别多字段，准确度：36.3%
2.多模态模型端到端识别长编码字段单字段，准确度：44.6%
3.OCR识别卡证整体+文本大模型，准确度：83%
4.OCR识别卡证长编码字段局部+文本大模型：88%
5.OCR识别结果作为prompt+多模态大模型：86.3%

希望以上的内容能给研究中的同志、朋友提供一定参考！