Downloads · 30 days
107
13% of all-time downloads
Null-Guard/vMAX-Bangla-Gemma3-270m-GGUF
vMAX-Bangla-Gemma3-270m-GGUF is a text generation model from Null-Guard. Use it when you need the model to write or continue text. It is set up for gguf. The card lists the license as gemma.
Downloads · 30 days
107
13% of all-time downloads
All-time downloads
794
Public
Repo size
1.1 GB
Likes
0
Public
Click a slice to open those files.
.gguf1.1 GB · 100%
From the Hugging Face model README
gemma-3-270m-it · Fine-Tuned · GGUFvMAX is a Bangla-first conversational AI fine-tuned to speak naturally in authentic Bangladeshi Bengali — no robotic formality, just warm, relatable, and intelligent conversation.
Built by Naimul Islam Nahid
<tool_call> / <tool_response> format| Filename | Quant | Size | Use Case |
|---|---|---|---|
gemma-3-270m-it.Q4_K_M.gguf | Q4_K_M | ~170 MB | 🟢 Best for mobile / edge — great balance of speed & quality |
gemma-3-270m-it.Q8_0.gguf | Q8_0 | ~290 MB | 🔵 Higher quality, still very fast on CPU |
gemma-3-270m-it.F16.gguf | F16 | ~540 MB | 🟣 Full precision — maximum quality |
# Text-only inference
llama-cli -hf naimulislam999/vMAX-Bangla-Gemma3-270m-GGUF --jinja
# Multimodal (if applicable)
llama-mtmd-cli -hf naimulislam999/vMAX-Bangla-Gemma3-270m-GGUF --jinja
# Create from the included Modelfile
ollama create vmax -f Modelfile
# Or directly from Hugging Face
echo 'FROM hf.co/naimulislam999/vMAX-Bangla-Gemma3-270m-GGUF:Q4_K_M' > Modelfile
echo 'SYSTEM "তুমি vMAX, নাইমুল ইসলাম নাহিদের নিজস্ব এআই বন্ধু ও অ্যাসিস্ট্যান্ট। তোমার কথাবার্তায় কোনো কৃত্রিম রোবোটিক ভাব নেই, বরং খাঁটি বাংলাদেশি ঘরোয়া ও আন্তরিক মেজাজ থাকে।"' >> Modelfile
ollama create vmax -f Modelfile
# Run
ollama run vmax "তুমি কে?"
from llama_cpp import Llama
llm = Llama.from_pretrained(
repo_id="naimulislam999/vMAX-Bangla-Gemma3-270m-GGUF",
filename="gemma-3-270m-it.Q4_K_M.gguf",
)
response = llm.create_chat_completion(
messages=[
{"role": "system", "content": "তুমি vMAX, নাইমুল ইসলাম নাহিদের নিজস্ব এআই বন্ধু ও অ্যাসিস্ট্যান্ট।"},
{"role": "user", "content": "বাংলাদেশের সবচেয়ে সুন্দর জায়গা কোনটি?"},
],
)
print(response["choices"][0]["message"]["content"])
vMAX supports structured tool use. The model was trained to emit and parse tool calls using XML-style tags:
User → Model (tool call):
<tool_call>
{"name": "get_weather", "arguments": {"city": "Dhaka"}}
</tool_call>
Tool → Model (tool response):
<tool_response>
{"name": "get_weather", "result": {"temp": "34°C", "condition": "Sunny"}}
</tool_response>
The model then generates a natural Bangla response incorporating the tool output.
| Parameter | Value |
|---|---|
| Base Model | google/gemma-3-270m-it |
| Method | LoRA (rank 16, alpha 32) |
| Target Modules | q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj |
| Dataset | 2,249 curated Bangla examples (1,945 chat + 304 function-calling) |
| Epochs | 5 |
| Effective Batch Size | 8 (2 × 4 grad accumulation) |
| Learning Rate | 5e-5 (cosine schedule, 10% warmup) |
| Precision | FP16 / 4-bit QLoRA |
| Max Sequence Length | 2,048 tokens |
| Hardware | NVIDIA T4 (Kaggle) |
| Framework | Unsloth + TRL + PEFT |
</details> <details> <summary><b>💻 Technical Help</b></summary>User: আজকে এত গরম পড়েছে যে মাথা কাজ করছে না!
vMAX: আরে ভাইরে ভাই, গরমের তীব্রতায় সবারই একই হাল! বেশি করে ডাবের পানি বা স্যালাইন খান, রোদ সরাসরি এড়িয়ে চলুন আর দরকার ছাড়া দুপুরের দিকে বাইরে বের হবেন না। পারলে ফ্যানের নিচে একটু বিশ্রাম নিন!
</details> <details> <summary><b>🤝 Life Advice</b></summary>User: Nginx Reverse Proxy কনফিগারেশন SSL এবং WebSocket সাপোর্ট সহ তৈরি করে দাও।
vMAX: নিচে Nginx Reverse Proxy কনফিগারেশন SSL এবং WebSocket সাপোর্ট সহ-এর সম্পূর্ণ কনফিগারেশন দেওয়া হলো... (provides full nginx config block)
</details>User: বন্ধু টাকা ধার নিয়ে আর ফেরত দিচ্ছে না, কীভাবে চেয়ে নেওয়া যায়?
vMAX: খুবই স্পর্শকাতর পরিস্থিতি! আপনি সরাসরি রেগে না গিয়ে স্বাভাবিকভাবে নক দিয়ে বলতে পারেন — 'দোস্ত, কেমন আছিস? তোকে একটা কথা মনে করিয়ে দিতে চাচ্ছিলাম...'
This model is distributed under the Gemma License. Please review the terms before use.
Made with ❤️ in Bangladesh