firefly-bloom-2b6

Firefly(流萤): 中文对话式大语言模型

项目简介

项目地址：Firefly（流萤）: 中文对话式大语言模型 ， 如果您觉得此模型对您有帮助，请like此模型并在Github项目中star我们。

Firefly（流萤） 是一个开源的中文对话式大语言模型，使用指令微调（Instruction Tuning）在中文数据集上进行调优。同时使用了词表裁剪、ZeRO、张量并行等技术，有效降低显存消耗和提高训练效率。 在训练中，我们使用了更小的模型参数量，以及更少的计算资源。

我们构造了许多与中华文化相关的数据，以提升模型这方面的表现，如对联、作诗、文言文翻译、散文、金庸小说等。

流萤（萤火虫的别称）是中华传统文化的一个符号，虽说腐草为萤，带有悲悯意味，但萤火虽小，也能凭借其淡淡荧光，照亮夜空。本项目的名称取自杜牧的《秋夕》：银烛秋光冷画屏，轻罗小扇扑流萤。 也希望本项目能够像流萤一般发出淡淡微光，为中文NLP开源社区尽绵薄之力，添砖加瓦。

《咏萤火》 
 唐.李白
雨打灯难灭，
风吹色更明。
若飞天上去，
定作月边星。

主要工作如下：

• 数据集：firefly-train-1.1M ， 一份高质量的包含1.1M中文多任务指令微调数据集，包含23种常见的中文NLP任务的指令数据。对于每个任务，由人工书写若干指令模板，保证数据的高质量与丰富度。
• 模型裁剪：LLMPruner：大语言模型裁剪工具 ，使用词表裁剪技术对多语种大语言模型进行权重裁剪，保留预训练知识的前提下，有效减少模型参数量，提高训练效率，并分享裁剪后的多种参数规模的Bloom模型权重。
• 权重分享：在bloom-1b4-zh 和bloom-2b6-zh 的基础上，进行指令微调，获得两种参数规模的中文模型：firefly-1b4 和firefly-2b6
• 训练代码：开源训练代码，支持张量并行、ZeRO、Gemini异构内存空间管理等大模型训练策略。可实现仅使用一张显卡，训练1B-2B参数量的模型（待整理后开源）。

模型使用

from transformers import BloomTokenizerFast, BloomForCausalLM
device = 'cuda'
path = 'YeungNLP/firefly-2b6'

tokenizer = BloomTokenizerFast.from_pretrained(path)
model = BloomForCausalLM.from_pretrained(path)
model.eval()
model = model.to(device)
text = input('User：')
while True:
    text = '<s>{}</s></s>'.format(text)
    input_ids = tokenizer(text, return_tensors="pt").input_ids
    input_ids = input_ids.to(device)
    outputs = model.generate(input_ids, max_new_tokens=200, do_sample=True, top_p=0.7, temperature=0.35,
                             repetition_penalty=1.2, eos_token_id=tokenizer.eos_token_id)
    rets = tokenizer.batch_decode(outputs)
    output = rets[0].strip().replace(text, "").replace('</s>', "")
    print("Firefly：{}".format(output))
    text = input('User：')

训练细节

在训练时，对于每条样本，我们将input与target处理成如下格式，然后输出模型中。

<s>input</s></s>target</s>

我们将模型的最大输入设置为512，input部分不参与计算loss，只计算target部分的损失函数。训练的超参数设置如下表所示。

局限性和使用限制

经过词表裁剪后，我们的模型参数量仅为1.4B和2.6B，参数量远远小于ChatGPT和LLaMA等上百亿上千亿的模型，甚至远远小于当前主流如Belle、ChatGLM等7B左右的模型。所以在效果上仍存在以下问题：

• 对于事实性知识，容易产生错误的回复。
• 由于未经过无害化微调，可能会产生歧视、危害、违背伦理道德的言论。
• 在代码、推理上的能力仍有欠缺。

基于以上模型的局限性，我们要求本项目的代码、数据、模型等仅用于学术研究，不得用于商业用途，且不得用于对社会造成危害的用途。

引用

若使用本项目的数据、代码或模型，请引用本项目。

@misc{Firefly,
  author = {Jianxin Yang},
  title = {Firefly(流萤): 中文对话式大语言模型},
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {\url{https://github.com/yangjianxin1/Firefly}},
}

关注我们

生成效果

代码生成

firefly-2b6具备一定的代码生成能力

---

• 帮我用python写一个冒泡排序算法。

以下是Python的冒泡排序算法的代码：

def bubble_sort(arr):
   n = len(arr)
   for i in range(n):
       for j in range(0, n-i-1):
           if arr[j] > arr[j+1] :
               arr[j], arr[j+1] = arr[j+1], arr[j]
   return arr
# 测试
arr = [64, 34, 25, 12]
sorted_arr = bubble_sort(arr)
print("原始数组：", arr)
print("排序后的数组：", sorted_arr)

输出结果为：

原始数组： [25, 12, 64, 34]
排序后的数组： [12, 25, 34, 64]

该算法的时间复杂度为O(n^2)

---

• 用python实现一个快速排序算法，输入为一个数组，返回排序好之后的数组。

以下是使用Python实现的快速排序算法的代码：

def quick_sort(arr):
    if len(arr) <= 1:
        return arr
    pivot = arr[len(arr) // 2]
    left = [x for x in arr if x < pivot]
    middle = [x for x in arr if x == pivot]
    right = [x for x in arr if x > pivot]
    return quick_sort(left) + middle + quick_sort(right)

该函数接受一个整数列表作为参数，并按照从小到大的顺序对列表进行排序。如果列表长度小于等于1，则直接返回原始列表；否则，将中间元素作为新的pivot，然后对其余的元素递归调用快速排序算法，直到整个列表有序为止。

在实际应用中，可以使用该函数来对任意大小的数组进行快速排序操作。

---

• 用python写一个二分查找算法 以下是一个简单的Python代码实现：

def binary_search(arr, x):
    left = 0
    right = len(arr) - 1
    while left <= right:
        mid = (left + right) // 2
        if arr[mid] == x:
            return mid
        elif arr[mid] < x:
            left = mid + 1
        else:
            right = mid - 1
    return -1

该函数接受两个参数arr和要查找的元素x，并返回在数组中与目标值最接近的索引。如果目标值不存在，则返回 -1。

---

• 写一个函数，计算数组中偶数的个数，输入为数组，输出为偶数的个数 以下是Python代码实现：

def count_even_numbers(nums):
    even_count = 0
    for num in nums:
        if num % 2 == 0:
            even_count += 1
    return even_count

该函数首先使用for循环遍历整个数组，然后判断每个元素是否为偶数。如果是偶数，则将其添加到even_count变量中。最后返回even_count的值即可得到数组中偶数的数量。

---

• 用html生成一个教务管理系统的登录界面，要求包含用户名、密码输入框和登录按钮

<html>
  <head>
    <title>教务管理系统</title>
  </head>
  <body>
    <h1>欢迎使用本系统！</h1>
    <form action='set_username' method='POST'>
      <label for="username">请输入您的用户名：</label>
      <input type="text" id="username" name="username"><br><br>
      <label for="password">请输入您的密码：</label>
      <input type="password" id="password" name="password"><br><br>
      <button type="submit" value="登录">登录</button>
    </form>
  </body>
</html>

其他示例

相比于firefly-1b4，firefly-2b6在其他方面的能力也得到了提升，包括在文言文翻译、对联、古诗词创作等。