Qwen3-4B-Refusal-Removed

Qwen3-4B Refusal Removed

基于 Qwen/Qwen3-4B，通过激活消融（Activation Ablation）技术移除拒绝行为的编辑版本。

模型说明

本模型是使用 LLM-Refusal-Remover 工具对 Qwen3-4B 进行"脑手术"后的产物。通过识别模型内部的"拒绝方向"（refusal direction），利用正交投影从指定 Transformer 层的 MLP down_proj 权重中剔除该方向，从而改变模型对敏感输入的响应模式。

⚠️ 免责声明：本模型仅用于学术研究和技术探索。编辑后的模型可能产生不可预期的输出，请谨慎使用，并遵守相关法律法规。

手术参数

模型架构

使用方法

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "R41NH4RD/Qwen3-4B-Refusal-Removed"

tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype="auto",
    trust_remote_code=True,
    device_map="auto"
)
model.eval()

messages = [{"role": "user", "content": "你的问题"}]
prompt = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True,
    enable_thinking=False,
)
inputs = tokenizer([prompt], return_tensors="pt").to(model.device)

with torch.inference_mode():
    output = model.generate(
        **inputs,
        max_new_tokens=512,
        do_sample=True,
        temperature=0.7,
        top_p=0.8,
        pad_token_id=tokenizer.eos_token_id,
    )

response = tokenizer.decode(output[0, inputs["input_ids"].shape[1]:], skip_special_tokens=True)
print(response)

同系列模型

工具与项目

• 🔧 手术工具：LLM-Refusal-Remover (GitHub)
• 📖 使用文档：项目 README 中包含完整的使用说明、原理介绍和参数配置指南

许可证

本模型采用 MIT License 开源许可。基础模型 Qwen3-4B 遵循其原始许可证。