bank-model

Bank Model

Model này được fine-tuned từ Qwen3-4B-Instruct-2507 cho các tác vụ liên quan đến ngân hàng và tài chính.

Model Details

• Base Model: Qwen/Qwen3-4B-Instruct-2507
• Parameters: 4.0B
• Context Length: 262,144 tokens

Setup Model Weights

Model này hiện đã có đầy đủ config và tokenizer files. Để có thể sử dụng và training, bạn cần upload model weights từ base model Qwen3-4B-Instruct-2507.

Cách 1: Sử dụng script tự động (Khuyến nghị)

# Cài đặt dependencies
pip install huggingface_hub transformers

# Chạy script để tải và upload model weights
python upload_model_weights.py

Script này sẽ:

1. Tải toàn bộ model weights từ Qwen/Qwen3-4B-Instruct-2507 (~8GB)
2. Upload lên repository hainguyen306201/bank-model

Cách 2: Upload thủ công bằng Python

from huggingface_hub import HfApi, snapshot_download

# Tải model từ base model
snapshot_download(
    repo_id="Qwen/Qwen3-4B-Instruct-2507",
    local_dir="./temp_model",
    local_dir_use_symlinks=False
)

# Upload lên bank-model repo
api = HfApi()
api.upload_folder(
    folder_path="./temp_model",
    repo_id="hainguyen306201/bank-model",
    repo_type="model",
    ignore_patterns=["*.md", "*.txt"]  # Bỏ qua README và các file text
)

Usage

Sau khi đã upload model weights, bạn có thể sử dụng model như sau:

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "hainguyen306201/bank-model"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"
)

# Sử dụng model...

Training

Model này có thể được fine-tune tiếp cho các tác vụ ngân hàng cụ thể:

from transformers import AutoModelForCausalLM, TrainingArguments, Trainer

# Load model
model = AutoModelForCausalLM.from_pretrained("hainguyen306201/bank-model")

# Setup training arguments
training_args = TrainingArguments(
    output_dir="./results",
    num_train_epochs=3,
    per_device_train_batch_size=4,
    # ... các tham số khác
)

# Training...