rag-note-gguf

---

language:

• ko
• en license: llama3.2 tags:
• gguf
• ollama
• llama.cpp
• fine-tuned
• instruction-tuning pipeline_tag: text-generation base_model: unsloth/Llama-3.2-1B-Instruct

---

rag-note-gguf

논문 method 텍스트를 입력하면 Workflow + Unit Operation(JSON) 형태로 정리해 주는 모델입니다.
RAG 결과를 연구노트 템플릿으로 빠르게 변환하고, 사람이 수정하는 흐름(MVP)을 목표로 합니다.

✅ 모델 요약

• 목적: 논문 method → Workflow/Unit Operation JSON 생성
• 출력: JSON (workflow, unit_operations, equipment, software 등)
• 포맷: Instruction / Input / Output 구조
• 배포형태: GGUF (CPU 로컬 실행 가능)

✅ 파일 목록

• merged_model_fp32.Q4_K_M.gguf
  → Q4_K_M 양자화 버전 (CPU 실행용)

✅ 사용 예시 (Ollama)

1) Modelfile 생성

FROM ./merged_model_fp32.Q4_K_M.gguf

2) 모델 등록

ollama create rag-note-gguf -f Modelfile

3) 실행

ollama run rag-note-gguf "Instruction:
Extract workflow and equipment/software into JSON with the given schema.

Input:
PCR amplification at 95C for 30s...

Output:"

✅ 사용 예시 (llama.cpp)

./llama-cli \
  -m merged_model_fp32.Q4_K_M.gguf \
  -p "Instruction:\nExtract workflow and equipment/software into JSON with the given schema.\n\nInput:\nPCR amplification...\n\nOutput:\n" \
  -n 512

✅ 프롬프트 포맷 (권장)

Instruction:
Extract workflow and equipment/software into JSON with the given schema.

Input:
<method text>

Output:

✅ 학습 정보

• Base model: Llama-3.2-1B-Instruct
• LoRA: r=16, lora_alpha=16
• Epochs: 5
• Learning rate: 5e-5
• Max seq length: 2048
• 데이터: 논문 method → workflow/UO JSON (약 1.3k 샘플)

✅ 제한사항

• 작은 모델이라 JSON이 완벽히 맞지 않을 수 있음
• 결과는 사람이 수정하는 전제 (MVP 목적)
• 의료/임상 판단용 사용 금지

✅ 라이선스

이 모델은 base model 라이선스에 따릅니다.
※ base model이 Llama 3.2 계열이면 보통 llama3.2로 맞춰야 합니다.

✅ 참고

• Labnote 템플릿 생성은 별도의 스크립트(run_ollama_and_build.py)에서 처리합니다.
• 모델 자체는 JSON만 출력합니다.

---