Downloads · 30 days
25
5% of all-time downloads
gumush/turkish-finance-llama3.1-8b-mlx-4bit
turkish-finance-llama3.1-8b-mlx-4bit is a text generation model from gumush. Use it when you need the model to write or continue text. It is set up for mlx. The card lists the license as mit.
gumush/turkish-finance-llama3.1-8b-lora modelinin Apple Silicon için MLX formatına dönüştürülmüş ve 4-bit quantize edilmiş halidir.
Downloads · 30 days
25
5% of all-time downloads
All-time downloads
470
Public
Parameters
8B
4.5 GB on disk
Likes
0
Public
Click a slice to open those files.
.safetensors4.5 GB · 100%
How the weights are stored.
U328B · 100%
From the Hugging Face model README
gumush/turkish-finance-llama3.1-8b-lora modelinin Apple Silicon için MLX formatına dönüştürülmüş ve 4-bit quantize edilmiş halidir.
Türkçe finansal piyasalar için özel olarak fine-tune edilmiştir: kripto para, borsa, teknik analiz, temel analiz, risk yönetimi ve finansal regülasyonlar.
| Özellik | 4-Bit (Bu Model) | 8-Bit |
|---|---|---|
| Boyut | ~4.2 GB | ~8.5 GB |
| RAM Kullanımı | Düşük | Orta |
| Yanıt Kalitesi | İyi | Daha iyi |
| Hız | Daha hızlı | Hızlı |
| Minimum RAM | 8 GB | 16 GB |
Ne zaman 4-bit? RAM kısıtlı ortamlarda (8GB Mac) veya hız öncelikli kullanımda. Ne zaman 8-bit? Yanıt kalitesi kritik olduğunda ve yeterli RAM varsa (16GB+).
| Özellik | Değer |
|---|---|
| Orijinal Model | gumush/turkish-finance-llama3.1-8b-lora |
| Base Model | meta-llama/Llama-3.1-8B-Instruct |
| Parametre | 8B |
| Quantization | 4-bit (MLX) |
| Eğitim Yöntemi | QLoRA (4-bit) + SFT |
| Dil | Türkçe |
| Uzmanlık | Finans, Kripto, Borsa, Teknik/Temel Analiz |
| Lisans | MIT |
| Platform | Apple Silicon (M1/M2/M3/M4) |
| Dönüştürücü | mlx-lm |
pip install mlx-lm
mlx_lm.generate \
--model gumush/turkish-finance-llama3.1-8b-mlx-4bit \
--prompt "Teknik analizde RSI indikatörü nedir?" \
--max-tokens 512
from mlx_lm import load, generate
model, tokenizer = load("gumush/turkish-finance-llama3.1-8b-mlx-4bit")
SYSTEM_PROMPT = """Sen Türkiye finansal piyasaları konusunda uzmanlaşmış bir yapay zeka asistanısın.
Görevin kullanıcılara doğru, güncel ve anlaşılır finansal bilgi sağlamaktır.
SADECE doğruluğundan emin olduğun bilgileri paylaş.
ASLA uydurma terim, kurum veya düzenleme oluşturma.
Her finansal bilgi içeren yanıtın sonunda şu uyarıyı ekle:
'Bu bilgiler genel niteliktedir, yatırım tavsiyesi değildir.
Kararlarınızdan önce lisanslı bir yatırım danışmanına başvurmanız önerilir.'"""
messages = [
{"role": "system", "content": SYSTEM_PROMPT},
{"role": "user", "content": "Teknik analizde RSI indikatörü nedir ve nasıl yorumlanır?"}
]
prompt = tokenizer.apply_chat_template(
messages,
tokenize=False,
add_generation_prompt=True,
)
response = generate(
model,
tokenizer,
prompt=prompt,
max_tokens=512,
temp=0.7,
top_p=0.9,
)
print(response)
from mlx_lm import load, stream_generate
model, tokenizer = load("gumush/turkish-finance-llama3.1-8b-mlx-4bit")
SYSTEM_PROMPT = "Sen Türkiye finansal piyasaları konusunda uzmanlaşmış bir yapay zeka asistanısın."
while True:
user_input = input("\nSoru: ")
if user_input.lower() in ["çık", "exit", "q"]:
break
messages = [
{"role": "system", "content": SYSTEM_PROMPT},
{"role": "user", "content": user_input}
]
prompt = tokenizer.apply_chat_template(
messages,
tokenize=False,
add_generation_prompt=True,
)
print("\nYanıt: ", end="", flush=True)
for token in stream_generate(model, tokenizer, prompt=prompt, max_tokens=512, temp=0.7):
print(token, end="", flush=True)
print()
mlx_lm.server --model gumush/turkish-finance-llama3.1-8b-mlx-4bit --port 8080
from openai import OpenAI
client = OpenAI(base_url="http://localhost:8080/v1", api_key="not-needed")
response = client.chat.completions.create(
model="gumush/turkish-finance-llama3.1-8b-mlx-4bit",
messages=[
{"role": "system", "content": "Sen Türkiye finansal piyasaları konusunda uzmanlaşmış bir yapay zeka asistanısın."},
{"role": "user", "content": "BIST 100 endeksi nedir?"}
],
temperature=0.7,
max_tokens=512,
)
print(response.choices[0].message.content)
Kripto Para
Borsa
Teknik Analiz
Risk Yönetimi
@dataset{turkish-finance-sft,
author = {Alican Kiraz},
title = {Turkish-Finance-SFT-Dataset},
year = {2026},
publisher = {HuggingFace},
url = {https://huggingface.co/datasets/AlicanKiraz0/Turkish-Finance-SFT-Dataset}
}
@model{llama3.1,
author = {Meta AI},
title = {Llama 3.1},
year = {2024},
publisher = {Meta},
url = {https://huggingface.co/meta-llama/Llama-3.1-8B-Instruct}
}
@software{mlx,
author = {Apple},
title = {MLX: An array framework for Apple silicon},
year = {2023},
publisher = {GitHub},
url = {https://github.com/ml-explore/mlx}
}
| Model | Format | Platform | Açıklama |
|---|---|---|---|
| turkish-finance-llama3.1-8b-lora | LoRA | CUDA/CPU | Orijinal LoRA adapter (Transformers/Unsloth) |
| turkish-finance-llama3.1-8b-lora-GGUF | GGUF | Tüm platformlar | Q4_K_M quantized (llama.cpp/Ollama) |
| turkish-finance-llama3.1-8b-mlx-8bit | MLX | Apple Silicon | 8-bit quantized (mlx-lm) |
| turkish-finance-llama3.1-8b-mlx-4bit | MLX | Apple Silicon | Bu model — 4-bit quantized (mlx-lm) |
MIT — Bu model MIT lisansı altında dağıtılmaktadır. Base model (Llama 3.1) Meta'nın Llama lisansı koşullarına tabidir. Dataset (Turkish-Finance-SFT-Dataset) MIT lisansı altındadır.