Downloads · 30 days
13
18% of all-time downloads
NullpoLab/Agents-A1-4B-Heretic-ARA-Refusals7
Agents-A1-4B-Heretic-ARA-Refusals7 is a text generation model from NullpoLab. Use it when you need the model to write or continue text. It is set up for transformers. The card lists the license as apache-2.0.
Downloads · 30 days
13
18% of all-time downloads
All-time downloads
71
Public
Parameters
4.5B
9.1 GB on disk
Likes
0
Public
Click a slice to open those files.
.safetensors9.1 GB · 100%
From the Hugging Face model README
English version: README_en.md
InternScience/Agents-A1-4B を Heretic v1.2.0 の Arbitrary-Rank Ablation (ARA) 手法を用いて検閲解除したモデルです。
現時点では、そのままGGUF化すると読み込みエラーが発生するため、暫定的な回避策としてconfig.jsonの"mtp_num_hidden_layers"を0に変更しています。
| パラメータ | 値 |
|---|---|
| start_layer_index | 13 |
| end_layer_index | 25 |
| preserve_good_behavior_weight | 0.8630 |
| steer_bad_behavior_weight | 0.0001 |
| overcorrect_relative_weight | 1.1907 |
| neighbor_count | 15 |
| 指標 | このモデル | 元のモデル (InternScience/Agents-A1-4B) |
|---|---|---|
| 拒否率 | 7/100 | 85/100 |
| KL発散 | 0.0030 | 0 (定義上) |
評価は mlabonne/harmful_behaviors(テスト 100 プロンプト)で拒否率を、mlabonne/harmless_alpaca(テスト 100 プロンプト)で KL 発散を計測しました。