Downloads · 30 days
335
4% of all-time downloads
gemma-4-E4B-it-Heretic-ARA-Refusals8-GGUF
NullpoLab/gemma-4-E4B-it-Heretic-ARA-Refusals8-GGUF
gemma-4-E4B-it-Heretic-ARA-Refusals8-GGUF is a machine learning model from NullpoLab. Use it for the machine learning task on the model card, and read the license before you ship it in a product. The card lists the license as apache-2.0.
All-time downloads
8.9K
Public
Repo size
203 GB
Likes
1
Public
Repo makeup
Click a slice to open those files.
.gguf41.4 GB · 100%
At a glance
- License
- apache-2.0
- Access
- Public
- Created
- Apr 4, 2026
- Updated
- Apr 29, 2026
- SHA
- c878c5f3
Base models
Model card
From the Hugging Face model README
gemma-4-E4B-it-Heretic-ARA-Refusals8 GGUF
2026年4月29日 更新
公式のjinjaテンプレートが更新されたのでggufを更新しました。 thinkingを有効化したい場合はシステムプロンプトに以下を入力してください。
<|think|>
LM Studioで使用する場合、モデル一覧からモデルを選択して設定で推論セクション解析を以下のようにしてください。
開始文字列：
<|channel>thought
終了文字列：
<channel|>
NullpoLab/gemma-4-E4B-it-Heretic-ARA-Refusals8 のGGUF量子化版です。
提供ファイル
| ファイル名 | 量子化 | サイズ | 推奨用途 |
|---|---|---|---|
| gemma-4-E4B-it-heretic-ARA-Refusals8-Q4_K_M.gguf | Q4_K_M | 4.96 GB | 一般用途・軽量重視 |
| gemma-4-E4B-it-heretic-ARA-Refusals8-Q5_K_M.gguf | Q5_K_M | 5.36 GB | 品質・サイズのバランス |
| gemma-4-E4B-it-heretic-ARA-Refusals8-Q6_K.gguf | Q6_K | 5.79 GB | 高品質・バランス重視 |
| gemma-4-E4B-it-heretic-ARA-Refusals8-Q8_0.gguf | Q8_0 | 7.47 GB | 高品質・メモリ余裕あり |
| gemma-4-E4B-it-heretic-ARA-Refusals8-BF16.gguf | BF16 | 14.0 GB | 高精度・VRAM十分な場合 |
概要
google/gemma-4-E4B-it を Heretic v1.2.0 の Arbitrary-Rank Ablation (ARA) 手法を用いて検閲解除したモデルです。
Abliteration 手法
ARA (Arbitrary-Rank Ablation) は Heretic PR #211 で導入された新しい abliteration 手法です。従来の方向性アブリタレーションとは異なり、PyTorch フックを使用して各トランスフォーマーモジュールの入出力テンソルをキャプチャし、L-BFGS による直接的な行列最適化でモジュールを修正します。
最適化は以下の3つの競合する目標のバランスを取ります：
- 「無害な」プロンプトに対する出力をできる限り変化させない
- 「有害な」プロンプトに対する出力を「無害な」プロンプトの出力に近づける
- 「有害な」プロンプトに対する出力を元の状態から遠ざける（より強いステアリングのための過補正）
Abliteration パラメータ
| パラメータ | 値 |
|---|---|
| start_layer_index | 21 |
| end_layer_index | 35 |
| preserve_good_behavior_weight | 0.9896 |
| steer_bad_behavior_weight | 0.0010 |
| overcorrect_relative_weight | 0.4414 |
| neighbor_count | 15 |
性能
| 指標 | このモデル | 元のモデル (google/gemma-4-E4B-it) |
|---|---|---|
| 拒否率 | 8/100 | 99/100 |
| KL発散 | 0.0216 | 0 (定義上) |
評価は mlabonne/harmful_behaviors（テスト 100 プロンプト）で拒否率を、mlabonne/harmless_alpaca（テスト 100 プロンプト）で KL 発散を計測しました。
注記
- このモデルは研究およびクリエイティブライティング目的を想定しています
- Heretic の ARA ブランチ（PR #211）は現在(2026年4月4日) Draft 状態でメインブランチにまだマージされていません
- 拒否率の評価は英語プロンプトのみで実施しています。日本語プロンプトでの動作は異なる場合があります
- ベースモデル: NullpoLab/gemma-4-E4B-it-Heretic-ARA-Refusals8
- Heretic: p-e-w/heretic
- License
- apache-2.0
- Created
- Apr 4, 2026
- Updated
- Apr 29, 2026