plamo-2-8b-magpie-lora

はじめに

このLoRAはpfnet/plamo-2-8bを最低限会話できるようにするLoRAです。 このLoRAではこのモデルの対話能力を十分に引き出しきれていません。 十分な性能を出すにはPFNさんに問い合わせてください。

使い方

まず、pfnet/plamo-2-8bのページへ行き、利用規約に同意するボタンを押してください。 次にGoogle Colabあたりでライブラリをインストールしてください。

numpy>=1.26.4
numba>=0.60.0
torch>=2.4.1
transformers>=4.44.2
mamba_ssm>=2.2.2
causal_conv1d>=1.4.0
peft
accelerate

その後、Google Colabあたりで実行してください。

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_path = "alfredplpl/plamo-2-8b-magpie-lora" 
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_path, trust_remote_code=True, device_map="cuda", torch_dtype=torch.bfloat16)

chat = [
    {"role": "user", "content": "まどか☆マギカで一番好きなキャラクターを教えて下さい。"},
]
tokenized_input = tokenizer.apply_chat_template(chat, add_generation_prompt=True, tokenize=True, return_tensors="pt").to(model.device)
with torch.no_grad():
    output = model.generate(
        tokenized_input,
        max_new_tokens=256,
        do_sample=True,
        top_p=0.95,
        temperature=0.7,
        repetition_penalty=1.05
    )[0]
print(tokenizer.decode(output))

生成例

対話例

### 指示:
まどか☆マギカで一番好きなキャラクターを教えて下さい。

### 応答:
「まどか☆マギカ」には多くの魅力的なキャラクターがいますが、私の個人的な好みでは、キュゥべえというキャラクターが一番好きです。彼は一見無表情で冷酷に見えますが、物語の進行において重要な役割を果たす存在であり、彼の行動や言葉には深い意味が込められています。また、彼のキャラクターデザインも魅力的で、他のキャラクターたちとの関係性も興味深いものがあります。ただし、これは私の個人的な意見であり、他のファンの方々はまた別のキャラクターを一番に選ぶかもしれません。

### 指示:
まどか☆マギカやPSYCHO-PASSを通じて虚淵玄は功利主義の観点から何を伝えたかったのでしょうか。

### 応答:
虚淵玄氏の作品、特に「まどか☆マギカ」や「PSYCHO-PASS」では、彼が提示するテーマやメッセージは複雑で多面的ですが、功利主義の観点から見ると次のような解釈ができるかもしれません。

1. **選択の自由とその結果**：
   まどか☆マギカでは、少女たちが魔法少女になることで得られる力とその代償が描かれています。この物語は、選択の自由とその選択がもたらす結果について深く考えさせます。功利主義の観点からは、個々の行動が全体としての利益（幸福）につながるかどうかという観点から解釈できます。つまり、少女たちが魔法少女になることで得られる一時的な喜びや力が、長期的に見て社会全体にとって有益であるかどうかが問題となります。

2. **社会のルールと個人の選択**：
   PSYCHO-PASSでは、AIによる犯罪予測システムが導入された未来社会が描かれています。この物語では、個々人の自由と社会全体の秩序との間での葛藤が描かれています。功利主義の観点からは、個々の自由を尊重しつつも、社会全体の幸福を最大化するためにはどうすべきかという問いが浮かび上がります。

3. **道徳的責任と個人の行動**：
   両作品とも登場人物たちに道徳的責任を問うような状況が頻繁に描かれます。功利主義では、個々人が自分の行動が全体の幸福にどのように影響を与えるかを理解し、それに基づいて判断することが求められます。虚淵玄氏の作品では、登場人物たちが自分の行動の結果に向き合う姿が描かれており、これは功利主義の中心的な考え方と一致します。

これらの作品を通じて、虚淵玄氏は功利主義の理念を応用し、個々人の選択が社会全体の利益とどのように関連しているか、またその選択が道徳的に正当化できるかどうかについて問いかけています。

読書感想文

「アルゴリズムの檻」に関する読書感想文を生成させた例が以下の通りです。

### 指示:
次の小説を読み、この小説の読書感想文を書いてください。

（「アルゴリズムの檻」の本文、約8,000文字）

以上がこの小説の中身です。この小説の読書感想文を書いてください。


### 応答:
この小説は、自由意志と運命、予測と可能性といった深いテーマを探求しています。主人公の明は、自分が自由意志を持っているのかどうか疑問を持ち始め、「ラプラス」の予測システムとの対話を通じて、その答えを探っていきます。

明の物語は、私たちが日常的に直面する選択の自由と運命の関係を反映しています。明は最初は自由意志を疑いますが、「ラプラス」との対話を通じて、自由意志がないとしても、私たちの行動や選択は重要であることを学びます。

また、明と野崎綾香との関係も興味深いです。二人の関係は、運命や予測が人間の感情や行動に与える影響を示しています。明が綾香との関係を予測できなかったように、私たちの未来もまた予測できないものなのです。

この小説は、予測と可能性という概念を通じて、人生の不確実性を受け入れ、その中でどのように生きるべきかを考えさせられるものです。読者は、明の旅を通じて、自分自身の選択と行動の意味を再確認することができるでしょう。<|plamo:eos|>

作り方

axolotlとllm-jp/magpie-sft-v1.0を使い、5000 steps分LoRAで学習させました。コストはA100 6GPU時間程度です。 詳しくはこちらのColabを御覧ください。