gemma-3-1b-agentbank-checkpoint-57500

gemma-3-1b-agentbank-checkpoint-57500

모델 개요

이 모델은 Google Gemma-3-1B-IT 모델을 AgentBank 데이터셋으로 파인튜닝한 체크포인트입니다.

• 기본 모델: google/gemma-3-1b-it
• 체크포인트: checkpoint-57500
• 학습 스텝: 57500
• 학습 프레임워크: AgentBank
• 업로드 일시: 2025-07-18 22:17:26

모델 세부사항

• 모델 타입: gemma3_text
• 아키텍처: Gemma3ForCausalLM
• 어휘 크기: 262,144
• 히든 크기: 1152
• 레이어 수: 26
• 데이터 타입: bfloat16

학습 정보

• 글로벌 스텝: 57,500
• 에포크: 0.31
• 배치 크기: 4

최근 학습 로그

• epoch: 0.3094
• grad_norm: 11.3750
• learning_rate: 0.0000
• loss: 2.4100
• step: 57500

파일 정보

• 파일 수: 12개
• 총 크기: 5.62 GB

사용 방법

from transformers import AutoModelForCausalLM, AutoTokenizer

# 모델과 토크나이저 로드
model = AutoModelForCausalLM.from_pretrained(
    "iscreamai/gemma-3-1b-agentbank-checkpoint-57500",
    torch_dtype="auto",
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained("iscreamai/gemma-3-1b-agentbank-checkpoint-57500")

# 추론 예시
prompt = "안녕하세요! 무엇을 도와드릴까요?"
inputs = tokenizer(prompt, return_tensors="pt")
outputs = model.generate(**inputs, max_length=100, do_sample=True, temperature=0.7)
response = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(response)

주의사항

• 이것은 학습 중간 체크포인트이므로 최종 모델이 아닐 수 있습니다.
• 프로덕션 환경에서 사용하기 전에 충분한 평가를 수행하세요.
• 모델의 출력이 항상 정확하거나 적절하지 않을 수 있습니다.

메타데이터

{
  "checkpoint_path": "outputs/google_gemma_3_1b_it-agentbank-20250717_231738/checkpoint-57500",
  "checkpoint_name": "checkpoint-57500",
  "upload_timestamp": "2025-07-18T22:17:26.745422",
  "framework": "transformers",
  "training_framework": "AgentBank",
  "model_type": "gemma3_text",
  "architectures": [
    "Gemma3ForCausalLM"
  ],
  "vocab_size": 262144,
  "hidden_size": 1152,
  "num_hidden_layers": 26,
  "torch_dtype": "bfloat16",
  "transformers_version": "4.53.2",
  "global_step": 57500,
  "epoch": 0.3093745187040436,
  "total_flos": 3.3421318490571264e+17,
  "train_batch_size": 4,
  "learning_rate": null,
  "last_training_log": {
    "epoch": 0.3093745187040436,
    "grad_norm": 11.375,
    "learning_rate": 4.9302202076188976e-05,
    "loss": 2.41,
    "step": 57500
  },
  "file_count": 12,
  "total_size_bytes": 6035148749,
  "total_size_gb": 5.62
}

---

이 모델은 LLM Training Recipes 프레임워크를 사용하여 학습되었습니다.