Downloads · 30 days
6
3% of all-time downloads
Quart512/aisaac-qwen2.5-1.5b-gguf
aisaac-qwen2.5-1.5b-gguf is a text generation model from Quart512. Use it when you need the model to write or continue text. The card lists the license as apache-2.0.
A QLoRA fine-tune of Qwen2.5-1.5B on a small physics Q&A set, quantized to Q4KM GGUF. Built as the local, API-key-free fallback model for AIsaac, a science research assistant.
Downloads · 30 days
6
3% of all-time downloads
All-time downloads
187
Public
Repo size
986 MB
Likes
0
Public
Click a slice to open those files.
.gguf986 MB · 100%
From the Hugging Face model README
A QLoRA fine-tune of Qwen2.5-1.5B on a small physics Q&A set, quantized to Q4_K_M GGUF. Built as the local, API-key-free fallback model for AIsaac, a science research assistant.
This is a weak model, released for transparency rather than performance. Scored 0.132 standalone on a held-out benchmark where
claude-haikuscored 0.915 under identical grading. See 한계.
AIsaac이 API 키 없이도 최소한 돌아가도록 두는 로컬 폴백 모델이다. 성능이 좋아서가 아니라, 키가 없는 사용자도 앱의 동작을 확인할 수 있게 하려고 배포한다. 실제 사용 품질은 Gemini·Claude 쪽이 비교가 안 되게 낫다.
| 항목 | 값 |
|---|---|
| 베이스 모델 | Qwen/Qwen2.5-1.5B |
| 파인튜닝 | QLoRA, r=16, 6 에폭 |
| 학습 데이터 | 자체 작성 QA 45문항 (아래 "학습 데이터" 참고) |
| Training loss | 3.510 → 0.209 |
| 양자화 | Q4_K_M (GGUF), 986MB |
| 서빙 | llama.cpp llama-server (OpenAI 호환 API) |
llama-server로 띄우면 OpenAI 호환 엔드포인트가 열린다.
llama-server -m qwen_finetuned_Q4_K_M.gguf --port 8080
AIsaac은 이 엔드포인트에 ChatOpenAI(base_url="http://localhost:8080/v1")로 붙는다
(models.py). 로컬 서버라 API 키는 필요 없다.
held-out 31문항, 채점은 claude-haiku LLM-as-judge로 전 실험 고정(채점자가 바뀌면
실행 간 비교가 오염되므로).
| 구성 | 평균 점수 |
|---|---|
| 이 모델 단독 (Q4) | 0.132 |
| AIsaac 그래프 + 이 모델 (verify도 이 모델) | 0.176 |
| AIsaac 그래프 + 이 모델 (verify는 claude) | 0.445 |
claude-haiku 단독 (참고용 상한) | 0.915 |
읽어낼 것은 모델 점수가 아니라 구조의 기여도다. 같은 모델이 에이전트 그래프 안에서 0.132 → 0.445로 3.4배 올랐다 — 약한 모델일수록 좋은 verifier와 파이프라인이 크게 기여한다. 실험 전체 기록은 docs/README_09.md에 있다.
파인만 물리학 강의록을 참고해 저자가 직접 작성한 질문·답변 45쌍이다. 데이터셋 자체는 배포하지 않는다 — 원 저작물이 저작권 보호를 받는 자료이기 때문이다.
베이스 모델 Qwen2.5-1.5B의 라이선스를 따라 Apache-2.0으로 배포한다. 베이스 모델 대비 변경 사항은 위에 적은 QLoRA 파인튜닝과 Q4_K_M 양자화다.
로깅을 붙여 실사용 실패 사례를 모으고, 학습 데이터를 넓혀 다시 학습할 계획이다. 개선 이력은 AIsaac 저장소에 남긴다.