MeChat-chatglm2-6b-GGUF-fp16

Model Details

Model Description

• Developed by: AITA
• Model type: Full-Precision Text Generation LLM (FP16 GGUF format)
• Original Model: https://huggingface.co/qiuhuachuan/MeChat
• Precision: FP16 (non-quantized full-precision version)

Repository

• GGUF Converter: llama.cpp
• Huggingface Hub: https://huggingface.co/Slipstream-Max/MeChat-chatglm2-6b-GGUF-fp16

Usage

Method 1: llama.cpp Backend Server + Chatbox

Step 1: Start .llama.cpp Server

./llama-server \
  -m /path/to/model.gguf \
  -c 2048 \          # Context length
  --host 0.0.0.0 \   # Allow remote connections
  --port 8080 \      # Server port
  --n-gpu-layers 35  # GPU acceleration (if available)

Step 2: Connect via Chatbox

1. Download Chatbox
2. Configure API endpoint:

   API URL: http://localhost:8080
   Model: (leave empty)
   API Type: llama.cpp
   

3. Set generation parameters:

   {
     "temperature": 0.7,
     "max_tokens": 512,
     "top_p": 0.9
   }
   

Method 2: LM Studio

1. Download LM Studio
2. Load GGUF file:
   • Launch LM Studio
   • Search Slipstream-Max/Emollm-InternLM2.5-7B-chat-GGUF-fp16
3. Configure settings:

   Context Length: 2048
   GPU Offload: Recommended (enable if available)
   Batch Size: 512
   

4. Start chatting through the built-in UI

Precision Details

Hardware Requirements

Minimum:

• 16GB RAM (for 6B model)
• CPU with AVX/AVX2 instruction set support

Recommended:

• 20GB+ RAM
• CUDA-capable GPU (for acceleration)
• Fast SSD storage (due to large model size)

Key Notes

1. Requires latest llama.cpp (v3+ recommended)
2. Use --n-gpu-layers 35 for GPU acceleration (requires CUDA-enabled build)
3. Initial loading takes longer (2-5 minutes)
4. Requires more memory/storage than quantized versions
5. Use --mlock to prevent swapping

Advantages

• Preserves original model precision
• Ideal for precision-sensitive applications
• No quantization loss
• Suitable for continued fine-tuning

Ethical Considerations

These are text from original repo.

我们的心理健康支持对话机器人（以下简称"机器人"）旨在为用户提供情感支持和心理健康建议。然而，机器人不是医疗保健专业人员，不能替代医生、心理医生或其他专业人士的意见、诊断、建议或治疗。

机器人提供的建议和信息是基于算法和机器学习技术，可能并不适用于所有用户或所有情况。因此，我们建议用户在使用机器人之前咨询医生或其他专业人员，了解是否适合使用此服务。

机器人并不保证提供的建议和信息的准确性、完整性、及时性或适用性。用户应自行承担使用机器人服务的所有风险。我们对用户使用机器人服务所产生的任何后果不承担任何责任，包括但不限于任何直接或间接的损失、伤害、精神疾病、财产损失或任何其他损害。

我们强烈建议用户在使用机器人服务时，遵循以下原则：

机器人并不是医疗保健专业人士，不能替代医生、心理医生或其他专业人士的意见、诊断、建议或治疗。如果用户需要专业医疗或心理咨询服务，应寻求医生或其他专业人士的帮助。

机器人提供的建议和信息仅供参考，用户应自己判断是否适合自己的情况和需求。如果用户对机器人提供的建议和信息有任何疑问或不确定，请咨询医生或其他专业人士的意见。

用户应保持冷静、理性和客观，不应将机器人的建议和信息视为绝对真理或放弃自己的判断力。如果用户对机器人的建议和信息产生质疑或不同意，应停止使用机器人服务并咨询医生或其他专业人士的意见。

用户应遵守机器人的使用规则和服务条款，不得利用机器人服务从事任何非法、违规或侵犯他人权益的行为。

用户应保护个人隐私，不应在使用机器人服务时泄露个人敏感信息或他人隐私。

平台收集的数据用于学术研究。

最后，我们保留随时修改、更新、暂停或终止机器人服务的权利，同时也保留对本免责声明进行修改、更新或补充的权利。如果用户继续使用机器人服务，即视为同意本免责声明的全部内容和条款。

Citation

@misc{qiu2023smile,
      title={SMILE: Single-turn to Multi-turn Inclusive Language Expansion via ChatGPT for Mental Health Support},
      author={Huachuan Qiu and Hongliang He and Shuai Zhang and Anqi Li and Zhenzhong Lan},
      year={2023},
      eprint={2305.00450},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}