FX-Yi-34B

法陉法律大模型

<img src="https://img.shields.io/badge/python-3.10-blue.svg">

项目简介

本项目开源的中文法律通用大模型是通过Yi-34B-Chat经过QLoRA指令微调得到的。并且通过LESS算法来筛选出高质量的数据集，使得微调大模型的成本下降。

我们对通用语言大模型在法律领域的性能进行了优化，以增强模型的可信度和专业水准。模型能在不同的应用场景下提供帮助，尤其在法律知识问答，裁判文书裁定等方面有较高的准确性。

最近更新

[24/03/20] 开源了法陉模型参数

快速开始

1.环境配置

cd src
pip install -r requirements.txt

2.模型下载

git clone https://huggingface.co/DHU-BLLAB/FX-Yi-34B

3.模型推理

python

此模型是以Yi-34B-Chat为基底模型微调训练而成，您可以参考Yi来进行推理部署

from transformers import AutoModelForCausalLM, AutoTokenizer

model_path = ''

tokenizer = AutoTokenizer.from_pretrained(model_path, use_fast=False)

model = AutoModelForCausalLM.from_pretrained(
    model_path,
    device_map="auto",
    torch_dtype='auto'
).eval()

messages = [
    {"role": "user", "content": "我叔是债务纠纷担保人，可是债务人不知所踪，我叔被迫还债，后我叔将债务人起诉法院，可是将进两年法院无任何回应，请问我叔怎样讨回损失。"}
]

input_ids = tokenizer.apply_chat_template(conversation=messages, tokenize=True, add_generation_prompt=True, return_tensors='pt')
output_ids = model.generate(input_ids.to('cuda'))
response = tokenizer.decode(output_ids[0][input_ids.shape[1]:], skip_special_tokens=True)

print(response)

命令行工具

python cli_demo.py

案例

user:

法陉：

数据集准备

本项目数据分为四个部分：

​ 1.法律知识问答

​ 2.新闻信息

​ 3.法律裁判文书

​ 4.客户信息分析

数据集格式

法律知识问答

    "instruction": "我叔是债务纠纷担保人，可是债务人不知所踪，我叔被迫还债，后我叔将债务人起诉法院，可是将进两年法院无任何回应，请问我叔怎样讨回损失。",
    "output": "依据《民法典》规定，具有代为清偿债务能力的法人、其他组织或者公民，可以作保证人。做保证人应当签定保证合同，另外，如果主合同中没有保证条款，但是保证人在主合同上以保证人的身份签字或者盖章的，保证合同成立。保证形式分为一般保证和连带责任保证两种。如果保证责任形式不明确，就推定连带责任形式。在保证成立的前提下，保证人根据不同的保证形式承担不同的保证责任。一般保证的保证人在主合同纠纷未经审判或者仲裁，并就债务人财产依法强制执行仍不能履行债务前，对债权人可以拒绝承担保证责任。而连带责任保证的债务人在主合同规定的债务履行期届满没有履行债务的，债权人可以要求债务人履行债务，也可以要求保证人在其保证范围内承担保证责任。",
    "system": "",
    "input": ""

新闻信息

 	"instruction": "曼联的首发阵容是什么？  网易体育12月18日报道：\n日本当地时间本周四（18日）傍晚19点30分（北京时间18日18点30分），2008年国际足联世俱杯赛在横滨国际综合竞技场展开第二场半决赛的争夺，由欧洲冠军联赛冠军曼联对垒亚冠冠军、来自日本的大阪钢巴队。\n目前，双方已经公布了首发阵容。曼联方面，特维斯与吉格斯搭档锋线，而鲁尼被放到了替补席上。\n曼联（4-4-2）：1-范德萨/2-内维尔、5-费迪南德、15-维迪奇、3-埃夫拉/17-纳尼、8-安德森、18-斯科尔斯、7-C罗/11-吉格斯、32-特维斯\n替补：16-卡里克、24-弗莱彻、22-奥谢、13-朴智星、21-拉菲尔、10-鲁尼、19-维尔贝克\n大阪钢巴（3-4-3）：22-藤谷阳介/2-中泽聪太、5-山口智、21-加地亮、/13-安田理大、17-明神智和、7-远藤保仁、27-桥本英郎/30-山崎雅人、9-卢卡斯、11-播户龙二\n替补：1-松代直树、8-寺田、10-二川孝广、18-罗尼、19-下平匠、20-苍田秋、23-武井择也\n(本文来源：网易体育  )"
 	"output": "1-范德萨/2-内维尔、5-费迪南德、15-维迪奇、3-埃夫拉/17-纳尼、8-安德森、18-斯科尔斯、7-C罗/11-吉格斯、32-特维斯",
    "system": "",
    "input": "",
    
  

裁判文书

    "instruction": "根据给定的文档：标题: 中国建设银行股份有限公司新疆维吾尔自治区分行、王秀莲民事执行实施执行裁定书案件类型: 执行案件文书内容: 新疆维吾尔自治区乌鲁木齐市天山区人民法院\n执行裁定书\n（2021）新0102执3519号之二申请执行人中国建设银行股份有限公司新疆维吾尔自治区分行与被执行人王秀莲信用卡纠纷一案，本院作出的（2020）新0102民初字第5806号民事判决书已发生法律效力。因被执行人未履行该生效法律文书确定的义务，申请执行人向本院申请强制执行，本院于2021年5月10日依法立案执行。本案申请执行标的151987.83元，已执行标的为0.00元，未执行标的为151987.83元在执行过程中，本院已采取如下执行措施：\n1、本院于2021年5月10日向被执行人送达执行通知书、执行裁定书、报告财产令、财产申报表、限制消费令等法律文书。\n2、本院分别于2021年5月13日、2021年5月22日、2021年6月17日、2021年9月13日通过全国法院网络执行查控系统查询和实地走访调查等方式对被执行人名下的财产信息，银行存款，互联网银行账户存款、有价证券、对外投资、保险等财产信息进行查询，发现被执行人名下无银行存款、无互联网银行帐户存款，无证券、无对外投资、无保险、无公司登记等信息。\n3、本院于2021年5月20日查询被执行人王秀莲乌鲁木齐市房产及土地使用权的登记情况，轮候查封被执行人名下位于米东区石化中兴街1324号四区15栋1-107号房产，首封案号为（2020）新01031560号，有抵押，抵押权数额为140000元，无法处置。\n4、本院于2021年5月20日经过公安部车辆信息查询被执行人王秀莲名下无车辆登记信息。\n5、本院于2021年9月13日限制被执行人王秀莲高消费及非生活必需品的有关消费并发布。\n6、本院于2021年9月13日向申请执行人知其本院执行措施及执行结果。\n对上述案件执行情况、采取的财产调查措施、被执行人王秀莲的财产状况、终结本次执行程序的依据及法律后果等信息，本院已于2021年9月13日告知申请执行人表示无异议且不能提供被执行人的其他财产线索，同意将本案终结本次执行程序本院认为，本案在执行过程中已穷尽执行措施，被执行人无财产可供执行，申请执行人对此予以认可，且不能提供被执行人的其他财产线索。依据《最高人民法院关于适用〈中华人民共和国民事诉讼法〉的解释》第五百一十九条之规定，裁定如下终结（2021）新0102执3519号执行案件本次执行程序。\n终结本次执行程序之后，被执行人王秀莲应当继续履行生效法律文书确定的义务。申请执行人发现被执行人有可供执行的财产，可以向本院申请恢复执行。申请恢复执行不受申请执行失效期间的限制。\n本裁定送达后立即生效审判长买买提艾力\n审判员冷长青\n审判员瓦热思\n二〇二一年九月十三日\n书记员米扎提当事人: 中国建设银行股份有限公司新疆维吾尔自治区分行；王秀莲案由: 民事，请你以一个专业律师的角度，简要分析裁判文书中提到的以下信息：案件标题、案件发生时间、案件发生地点、原告、被告、证人、证明文件或证物、案件情况描述、裁判结果、判决理由和依据法条。你需要按照如下步骤生成数据：1 - 键仅为上述关键词，若某关键词未在裁判文书中提及，则其值为空。2 - “案件情况描述”需要简述案件过程。3 - “裁判结果”需要描述详细，依据清晰，使非法律工作者也可以理解。4 - “判决理由和依据法条”字段需要简述判决理由并且包含裁判文书中涉及的相关法条。5 - 生成数据与文档语言一致。6 - 最后，请将生成的数据整理成json格式，字段如下所示：“案件标题”，“案件发生时间”，“案件发生地点”，“原告”，“被告”，“证人”，“证明文件或证物”，“案件情况描述”，“裁判结果”，“判决理由和依据法条”。",
    "output": "{\n  \"案件标题\": \"中国建设银行股份有限公司新疆维吾尔自治区分行、王秀莲民事执行实施执行裁定书\",\n  \"案件发生时间\": \"2021年5月10日\",\n  \"案件发生地点\": \"新疆维吾尔自治区乌鲁木齐市天山区人民法院\",\n  \"原告\": \"中国建设银行股份有限公司新疆维吾尔自治区分行\",\n  \"被告\": \"王秀莲\",\n  \"证人\": \"\",\n  \"证明文件或证物\": \"\",\n  \"案件情况描述\": \"中国建设银行股份有限公司新疆维吾尔自治区分行与被执行人王秀莲信用卡纠纷一案，本院作出的（2020）新0102民初字第5806号民事判决书已发生法律效力。因被执行人未履行该生效法律文书确定的义务，申请执行人向本院申请强制执行，本院于2021年5月10日依法立案执行。本案申请执行标的151987.83元，已执行标的为0.00元，未执行标的为151987.83元在执行过程中，本院已采取如下执行措施：\\n1、本院于2021年5月10日向被执行人送达执行通知书、执行裁定书、报告财产令、财产申报表、限制消费令等法律文书。\\n2、本院分别于2021年5月13日、2021年5月22日、2021年6月17日、2021年9月13日通过全国法院网络执行查控系统查询和实地走访调查等方式对被执行人名下的财产信息，银行存款，互联网银行账户存款、有价证券、对外投资、保险等财产信息进行查询，发现被执行人名下无银行存款、无互联网银行帐户存款，无证券、无对外投资、无保险、无公司登记等信息。\\n3、本院于2021年5月20日查询被执行人王秀莲乌鲁木齐市房产及土地使用权的登记情况，轮候查封被执行人名下位于米东区石化中兴街1324号四区15栋1-107号房产，首封案号为（2020）新01031560号，有抵押，抵押权数额为140000元，无法处置。\\n4、本院于2021年5月20日经过公安部车辆信息查询被执行人王秀莲名下无车辆登记信息。\\n5、本院于2021年9月13日限制被执行人王秀莲高消费及非生活必需品的有关消费并发布。\\n6、本院于2021年9月13日向申请执行人知其本院执行措施及执行结果。\\n对上述案件执行情况、采取的财产调查措施、被执行人王秀莲的财产状况、终结本次执行程序的依据及法律后果等信息，本院已于2021年9月13日告知申请执行人表示无异议且不能提供被执行人的其他财产线索，同意将本案终结本次执行程序本院认为，本案在执行过程中已穷尽执行措施，被执行人无财产可供执行，申请执行人对此予以认可，且不能提供被执行人的其他财产线索。\",\n  \"裁判结果\": \"根据《最高人民法院关于适用〈中华人民共和国民事诉讼法〉的解释》第五百一十九条之规定，裁定终结（2021）新0102执3519号执行案件本次执行程序。终结本次执行程序之后，被执行人王秀莲应当继续履行生效法律文书确定的义务。申请执行人发现被执行人有可供执行的财产，可以向本院申请恢复执行。申请恢复执行不受申请执行失效期间的限制。\",\n  \"判决理由和依据法条\": \"本案终结本次执行程序的依据为《最高人民法院关于适用〈中华人民共和国民事诉讼法〉的解释》第五百一十九条之规定。根据该规定，被执行人无财产可供执行，申请执行人对此予以认可，且不能提供被执行人的其他财产线索，本院认为本案在执行过程中已穷尽执行措施，故裁定终结本次执行程序。被执行人王秀莲应当继续履行生效法律文书确定的义务。申请执行人发现被执行人有可供执行的财产，可以向本院申请恢复执行。申请恢复执行不受申请执行失效期间的限制。\"\n}",
    "system": "",
    "input": ""

客户消息

    "instruction": "请根据文本整理客户档案，请整理成json格式，需要包含客户信息和咨询分析。客户信息包括：客户用户名、咨询时间、姓名、年龄、性别、所在地、联系方式。咨询分析包括：客户咨询情况总结、客户情绪分析结果、客户焦急程度、客户继续咨询意图是否强烈、客户咨询问题类型。",
    "output": "{'客户信息': {'客户用户名': 'user123', '咨询时间': '2022-01-01 10:00:00', '姓名': '李小明', '年龄': '30', '性别': '男', '所在地': '北京', '联系方式': '13812345678'}, '咨询分析': {'客户咨询情况总结': '客户在使用信用卡过程中出现逾期还款问题，银行要求归还透支本金、利息、违约金和消费手续费。客户希望了解是否有法律依据来抗辩或减少还款金额。', '客户情绪分析结果': '客户表达了对信用卡纠纷问题的担忧和焦虑。', '客户焦急程度': '中', '客户继续咨询意图是否强烈': '弱', '客户咨询问题类型': '信用卡纠纷'}}",
    "system": "",
	"input": "{'客户信息': {'客户用户名': 'user123', '咨询时间': '2022-01-01 10:00:00', '姓名': '李小明', '年龄': '30', '性别': '男', '所在地': '北京', '联系方式': '13812345678'}, '对话内容': [{'角色': '普通客户', '对话': '您好，请问我有一个信用卡纠纷的问题，想请教一下。'}, {'角色': '律师', '对话': '您好，我是律师，请问您的信用卡纠纷是什么情况？'}, {'角色': '普通客户', '对话': '我在使用信用卡的过程中，未能按合同约定还款，并多次逾期。现在银行要求我归还透支本金、利息、违约金和消费手续费，我想知道我是否有法律依据来抗辩或减少还款金额？'}, {'角色': '律师', '对话': '根据您提供的情况，根据《中华人民共和国合同法》的规定，当事人应当按照合同约定全面履行自己的义务，逾期还款构成违约，银行有权向您主张所欠的透支本金、利息、违约金和消费手续费。根据您的描述，银行的要求是合法有效的。'}, {'角色': '普通客户', '对话': '那我是否有其他的解决办法？'}, {'角色': '律师', '对话': '根据您提供的情况，您可以与银行协商制定还款计划，以减轻您的还款压力。另外，您也可以咨询专业律师，根据具体情况提出相应的抗辩理由，寻求法律援助。'}, {'角色': '普通客户', '对话': '谢谢您的回答，我会考虑这些建议的。'}, {'角色': '律师', '对话': '不客气，如果您还有其他问题，可以随时向我咨询。祝您好运！'}, {'角色': '普通客户', '对话': '好的，谢谢您的帮助！'}, {'角色': '律师', '对话': '不用客气，如果您对本次咨询服务满意的话，可以给予评价。'}, {'角色': '普通客户', '对话': '我对这次咨询服务很满意，谢谢您的专业回答！'}]}"

数据集的筛选

由于正常的微调训练所需要的数据较多，并且会消耗大量的GPU和内存资源，降低训练速度，我们使用了LESS项目来进行数据集的筛选。从数据中筛选出最符合条件的前5%数据进行训练

在本次项目中，我们筛选数据的模型选用了chinese-llama-2-1.3b，筛选标准数据集选用的是tydiqa。

1. 环境搭建

pip3 install torch==2.1.2 torchvision torchaudio
cd LESS
pip install -r requirement.txt
pip install -e .

2. 模型热身

DATA_DIR=../data
MODEL_PATH=../chinese-llama-2-1.3b
PERCENTAGE=0.05
DATA_SEED=3
JOB_NAME=chinese-llama-2-1.3b-p${PERCENTAGE}-lora-seed${DATA_SEED}

./less/scripts/train/warmup_lora_train.sh "$DATA_DIR" "$MODEL_PATH" "$PERCENTAGE" "$DATA_SEED" "$JOB_NAME"

Tips: 在项目代码中也需要将 “llama2-7b” 修改为 "chinese-llama-2-1.3b"。

3. 计算数据集梯度

CKPT=105
TRAINING_DATA_NAME=law
TRAINING_DATA_FILE=../data/train/processed/law/law_data.json
GRADIENT_TYPE="adam"
MODEL_PATH=../out/chinese-llama-2-1.3b-p0.05-lora-seed3/checkpoint-${CKPT}
OUTPUT_PATH=../grads/chinese-llama-2-1.3b-p0.05-lora-seed3/${TRAINING_DATA_NAME}-ckpt${CKPT}-${GRADIENT_TYPE}
DIMS="8192"

./less/scripts/get_info/grad/get_train_lora_grads.sh "$TRAINING_DATA_FILE" "$MODEL_PATH" "$OUTPUT_PATH" "$DIMS" "$GRADIENT_TYPE"

Tips: CKPT 数值的选择为checkpoint的最后一个保存点。

4. 筛选数据集

第一步

CKPT=105
TASK=tydiqa
MODEL_PATH=../out/chinese-llama-2-1.3b-p0.05-lora-seed3/checkpoint-${CKPT}
OUTPUT_PATH=../grads/chinese-llama-2-1.3b-p0.05-lora-seed3/${TASK}-ckpt${CKPT}-sgd 
DATA_DIR=../data
DIMS="4096 8192"

./less/scripts/get_info/grad/get_eval_lora_grads.sh "$TASK" "$DATA_DIR" "$MODEL_PATH" $OUTPUT_PATH "$DIMS"

第二步

DIM=8192 
GRADIENT_PATH=../grads/chinese-llama-2-1.3b-p0.05-lora-seed3/{}-ckpt{}-adam/dim${DIM}
TRAIN_FILE_NAMES="law"
CKPTS="105" 
CHECKPOINT_WEIGHTS="1.6877e-05" 
VALIDATION_GRADIENT_PATH=../grads/chinese-llama-2-1.3b-p0.05-lora-seed3/{}-ckpt{}-sgd/dim${DIM}
TARGET_TASK_NAMES="tydiqa"
SELECTED_DATA_OUTPUT_PATH="../selected_data"

./less/scripts/data_selection/matching.sh "$GRADIENT_PATH" "$TRAIN_FILE_NAMES" "$CKPTS" "$CHECKPOINT_WEIGHTS" "$VALIDATION_GRADIENT_PATH" "$TARGET_TASK_NAMES" "$SELECTED_DATA_OUTPUT_PATH"

Tips: CHECKPOINT_WEIGHTS数值的选择可以根据训练数据的checkpoint进行进行平均计算。

模型输出

可以从输出结果看出，经过微调之后模型，在常识方面上的回答并没有削弱，并且通过LESS筛选出来的数据可以使得在法律领域上的问答更加专业。

法律知识问答

其余问题回答

模型评估

为了能够准确的评估法律模型在法律方面的专业程度，我们自己构建了高质量的测试集， 并使用GPT-3.5 Turbo来对测试结果进行评估，分为两个标准：准确性和流畅性，满分为5分。

测试数据集的构成为训练过的数据和未经过训练的数据，以此来评估模型的在法律领域的专业性。

法律知识问答

裁判文书

客户消息

新闻信息

总结

模型微调

此模型微调采用的是LLaMA-Factory，这边给出QLoRA训练案例，环境配置详细参考LLaMA-Factory。

CUDA_VISIBLE_DEVICES=0 python src/train_bash.py \
    --stage sft \
    --do_train \
    --model_name_or_path path_to_llama_model \
    --dataset law \
    --template yi \
    --finetuning_type lora \
    --lora_target q_proj,v_proj \
    --output_dir path_to_sft_checkpoint \
    --overwrite_cache \
    --per_device_train_batch_size 4 \
    --gradient_accumulation_steps 4 \
    --lr_scheduler_type cosine \
    --logging_steps 10 \
    --save_steps 1000 \
    --learning_rate 2e-5 \
    --num_train_epochs 3.0 \
    --plot_loss \
    --quantization_bit 4

致谢

本项目受益于 Yi、LLaMA-Factory、chinese-llama-2-1.3b、LESS，在此表示诚挚的感谢。

贡献

贡献人员：

​ 张晨阳，汪海涛，李家泳，李旭航，王子剑

本项目是在王子剑导师的指导下进行的。

免责声明

本模型提供的信息仅供参考，不构成法律建议或意见。用户应该在寻求法律建议之前，咨询专业的法律顾问或律师。尽管本模型经过了精心训练和优化，但由于法律领域的复杂性和多样性，模型可能无法覆盖所有情况或提供完全准确的答案。用户应该自行承担使用本模型所产生的结果和后果。对于用户基于本模型提供的信息所做出的任何决定或行动，本模型及其开发者不承担任何责任。本模型可能会受到技术故障、数据错误或其他不可预见的因素影响，因此不保证模型的持续可用性或准确性。用户在使用本模型时应遵守法律法规和道德规范，不得将模型用于非法目的或侵犯他人权益的行为。