fedjudge-base-7b

FedJudge: Federated Legal Large Language Model

近期Large Language Model（LLM）卓越表现推动了其在智慧司法领域的应用。目前已经涌现出许多优秀的法律大模型（Legal LLM），如<a href="https://github.com/AndrewZhe/lawyer-llama" target="_blank">Lawyer LLaMA</a>和<a href="https://github.com/PKU-YuanGroup/ChatLaw" target="_blank">ChatLaw</a>等。 然而，尽管Legal LLM在集中式数据训练的环境中取得了显著的成果，却少有人深入探究其在联邦学习场景下的应用。

在法律领域，联邦学习为Legal LLM的应用带来了一系列潜在的好处和机遇。首先，法律数据的隐私性是一个至关重要的问题。大量的法律数据分布在法院、检察院、咨询公司和法律教育培训机构等组织中，这些数据包含了个人的敏感信息。通过采用联邦学习，Legal LLM可以在本地设备上进行训练，在中心服务器进行参数的聚合和分发，避免了原始数据的共享，有效保护了用户的隐私。

此外，法律领域中存在着数据稀缺的情况。某些特定领域的法律数据可能非常有限，例如针对特定罕见案例的判例数据或特定地区的法律实践数据。在传统的集中式学习中，这些数据可能无法充分利用。而采用联邦学习，可以在本地设备上进行模型训练，利用分散的数据资源，从而提高模型的性能和泛化能力。

为此，我们提出了FedJudge，一个联邦法律大模型（Federated Legal Large Language Model）。

训练数据

在本项目中，由于真实场景下的法律数据难以获取，我们对公开的法律语料进行了分类和汇总，并得到了以下三个本地客户端的数据集来模拟联邦场景：

• 法院客户端：收集了由<a href="https://github.com/yuelinan/C3VG" target="_blank">C3VG</a>公开的裁判文书数据集，作为法院客户端的本地数据
• 法律咨询公司客户端：收集了由<a href="https://github.com/AndrewZhe/lawyer-llama" target="_blank">Lawyer LLaMA</a>公开的法律咨询数据集，作为法律咨询公司客户端的本地数据
• 法律教培机构客户端：收集了由<a href="https://github.com/AndrewZhe/lawyer-llama" target="_blank">Lawyer LLaMA</a>公开的法考数据集，作为法律教培机构客户端的本地数据

模型训练

我们选取<a href="https://github.com/baichuan-inc/Baichuan-7B" target="_blank">baichuan-7b</a>作为FedJudge的基座模型。考虑到LLM在通信过程中的cost，我们使用baichuan-7b + lora的训练方法，在通信过程中，仅传输lora的参数。

效果展示

<details><summary>模型效果比较</summary> </details>

使用方法

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel

tokenizer = AutoTokenizer.from_pretrained("baichuan-inc/baichuan-7B", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("baichuan-inc/baichuan-7B", device_map="auto", trust_remote_code=True)

peft_model = PeftModel.from_pretrained(model, 'FedJudge/fedjudge-base-7b',torch_dtype=torch.float32).half()
data = '假设你是一名律师，请回答以下向你咨询的问题：在法律中定金与订金的区别是什么？'

inputs = tokenizer(data, return_tensors='pt')
inputs = inputs.to('cuda:0')
pred = peft_model.generate(**inputs, max_new_tokens=500,repetition_penalty=1.1)
    
pred_result = tokenizer.decode(pred.cpu()[0], skip_special_tokens=True)
print(pred_result.split(data)[-1])

局限性

• 在本项目中，模型的输出结果并非专业法律咨询的结果，可能会包含错误或不准确的内容。因此，如果您需要法律援助或专业法律咨询，请务必向法律专业人士寻求帮助。
• 本项目暂时仅支持单轮对话。

更多详情请查看FedJudge项目。