遇见您的私人法律顾问：智能法律大模型，智能解答您的法律困惑
为了让法律服务深入到每个人的身边，让更多的人能够得到法律帮助，开启了【律知】这个项目, 致力于打造一系列引领法律智能化的大模型。AI 法律模型是一位虚拟法律顾问，具备丰富的法律知识和技能，能够回答法律问题和提供法律建议。
语言模型
- Law-GLM-10B: 基于 GLM-10B 模型, 在 30GB 中文法律数据上进行指令微调.
| Name | Params | Language | Corpus | Objective | File | Config |
|---|---|---|---|---|---|---|
| GLM-Base | 110M | English | Wiki+Book | Token | glm-base-blank.tar.bz2 | model_blocklm_base.sh |
| GLM-Large | 335M | English | Wiki+Book | Token | glm-large-blank.tar.bz2 | model_blocklm_large.sh |
| GLM-Large-Chinese | 335M | Chinese | WuDaoCorpora | Token+Sent+Doc | glm-large-chinese.tar.bz2 | model_blocklm_large_chinese.sh |
| GLM-Doc | 335M | English | Wiki+Book | Token+Doc | glm-large-generation.tar.bz2 | model_blocklm_large_generation.sh |
| GLM-410M | 410M | English | Wiki+Book | Token+Doc | glm-1.25-generation.tar.bz2 | model_blocklm_1.25_generation.sh |
| GLM-515M | 515M | English | Wiki+Book | Token+Doc | glm-1.5-generation.tar.bz2 | model_blocklm_1.5_generation.sh |
| GLM-RoBERTa | 335M | English | RoBERTa | Token | glm-roberta-large-blank.tar.bz2 | model_blocklm_roberta_large.sh |
| GLM-2B | 2B | English | Pile | Token+Sent+Doc | glm-2b.tar.bz2 | model_blocklm_2B.sh |
| GLM-10B | 10B | English | Pile | Token+Sent+Doc | Download | model_blocklm_10B.sh |
| GLM-10B-Chinese | 10B | Chinese | WuDaoCorpora | Token+Sent+Doc | Download | model_blocklm_10B_chinese.sh |
- GLM-模型结果
dev set, single model, single-task finetuning
| Model | COPA | WSC | RTE | WiC | CB | MultiRC | BoolQ | ReCoRD |
|---|---|---|---|---|---|---|---|---|
| GLM-10B | 98.0 | 95.2 | 93.1 | 75.7 | 98.7/98.2 | 88.1/63.3 | 88.7 | 94.4/94.0 |
| DeBERTa-XXLarge-v2 | 97.0 | - | 93.5 | - | - | 87.8/63.6 | 88.3 | 94.1/93.7 |
- Seq2Seq
CNN/Daily Mail (test set, no additional data used)
| Model | ROUGE-1 | ROUGE-2 | ROUGE-L |
|---|---|---|---|
| GLM-10B | 44.7 | 21.4 | 41.4 |
| T5-11B | 43.5 | 21.6 | 40.7 |
| PEGASUS-Large | 44.2 | 21.5 | 41.4 |
| BART-Large | 44.2 | 21.3 | 40.9 |
XSum (test set, no additional data used)
| Model | ROUGE-1 | ROUGE-2 | ROUGE-L |
|---|---|---|---|
| GLM-10B | 48.9 | 25.7 | 40.4 |
| PEGASUS-Large | 47.2 | 24.6 | 39.3 |
| BART-Large | 45.1 | 22.3 | 37.3 |
- Language Modeling
test set, zero-shot
| Model | LAMBADA (accuracy) | Wikitext103 (perplexity) |
|---|---|---|
| GLM-10B (bi) | 72.35 | 11.33 |
| GLM-10B (uni) | 67.18 | 12.22 |
| GPT-2 | 52.66 | 17.48 |
| Megatron-LM (8.3B) | 66.51 | 10.81 |
| Turing-NLG | 67.98 | 10.21 |
2.快速使用部署
推出的语言模型支持 HuggingFace🤗
from transformers import AutoTokenizer, AutoModelForSeq2SeqLMhf_model = "law-llm/law-glm-10b"
max_question_length = 64
max_generation_length = 490tokenizer = AutoTokenizer.from_pretrained(hf_model,cache_dir=model_cache_dir,use_fast=True,trust_remote_code=True
)model = AutoModelForSeq2SeqLM.from_pretrained(hf_model,cache_dir=model_cache_dir,trust_remote_code=True
)model = model.to('cuda')
model.eval()model_inputs = "提问: 犯了盗窃罪怎么判刑? 回答: [gMASK]"model_inputs = tokenizer(model_inputs,max_length=max_question_length,padding=True,truncation=True,return_tensors="pt")model_inputs = tokenizer.build_inputs_for_generation(model_inputs,targets=None,max_gen_length=max_generation_length,padding=True)inputs = model_inputs.to('cuda')outputs = model.generate(**inputs, max_length=max_generation_length,eos_token_id=tokenizer.eop_token_id)
prediction = tokenizer.decode(outputs[0].tolist())
3. 效果展示
3.1. 法律咨询示例
的模型能够提供法律咨询服务，在大部分情况下能够依据真实的法律法规生成有指导性的建议。
| 问题 | 回答 (Law-GLM-10B, 2023.07.13, 模型输出) |
|---|---|
| 犯了盗窃罪怎么判刑? | 盗窃罪是指以非法占有为目的,窃取他人占有的数额较大的财物,或者多次盗窃的行为。盗窃罪侵犯的对象,仅限于国家、集体或个人的财物,而不是骗取其他非法利益。根据《刑法》第二百六十四条规定,盗窃公私财物,数额较大的,或者多次盗窃、入户盗窃、携带凶器盗窃、扒窃的,处三年以下有期徒刑、拘役或者管制,并处或者单处罚金;数额巨大或者有其他严重情节的,处三年以上十年以下有期徒刑,并处罚金;数额特别巨大或者有其他特别严重情节的,处十年以上有期徒刑或者无期徒刑,并处罚金或者没收财产。 |
| 未成年犯罪要承担刑事责任吗? | 未成年犯罪要承担刑事责任。我国《刑法》第十七条规定,已满十六周岁的人犯罪,应当负刑事责任。已满十四周岁不满十六周岁的人,犯故意杀人、故意伤害致人重伤或者死亡、强奸、抢劫、贩卖毒品、放火、爆炸、投放危险物质罪的,应当负刑事责任。已满十二周岁不满十四周岁的人,犯故意杀人、故意伤害罪,致人死亡或者以特别残忍手段致人重伤造成严重残疾,情节恶劣,经最高人民检察院核准追诉的,应当负刑事责任。对依照前三款规定追究刑事责任的不满十八周岁的人,应当从轻或者减轻处罚。因不满十六周岁不予刑事处罚的,责令其父母或者其他监护人加以管教;在必要的时候,依法进行专门矫治教育。 |
3.2. 失败案例
的模型还远不够完美.以下是一些失败案例, 模型在这些案例中给出的答案并不完全正确.
正在分析模型的局限性，将继续推出更为强大, 准确的版本.
| 提问 | 回答 (Law-GLM-10B, 2023.07.13, 模型输出) | 分析 |
|---|---|---|
| 非法集资罪员工如何处理?非法集资罪员工判多少年? | 非法集资罪员工的处理: 1、员工构成非法集资罪的,一般处三年以下有期徒刑或者拘役,并处或者单处罚金;2、员工构成非法集资罪的,一般处三年以上七年以下有期徒刑,并处罚金;3、员工构成非法集资罪的,一般处七年以上有期徒刑,并处罚金或者没收财产。法律依据:《刑法》第一百九十二条以非法占有为目的,使用诈骗方法非法集资,数额较大的,处三年以下有期徒刑或者拘役,并处或者单处罚金;数额巨大或者有其他严重情节的,处三年以上七年以下有期徒刑,并处罚金。单位犯前款罪的,对单位判处罚金,并对其直接负责的主管人员和其他直接责任人员,依照前款的规定处罚。 | 法条引用正确, 刑期有错误 (应当为 “处五年以上十年以下有期徒刑”) |
| 犯人被逮捕后，会通知家属吗？多久会有通知？ | 逮捕后,会通知家属。根据 《刑事诉讼法》第六十九条规定,公安机关逮捕人的时候,必须出示逮捕证。逮捕后,应当立即将被逮捕人送看守所羁押,至迟不得超过二十四小时。除无法通知或者涉嫌危害国家安全犯罪、恐怖活动犯罪通知可能有碍侦查的情形以外,应当在逮捕后二十四小时以内,通知被逮捕人的家属。有碍侦查的情形消失以后,应当立即通知被逮捕人的家属。 | 回答基本正确, 但法条引用错误 |
更多优质内容请关注公号：汀丶人工智能；会提供一些相关的资源和优质文章，免费获取阅读。
