Downloads · 30 days
2.2K
13% of all-time downloads
Dongwookss/futfut_by_zephyr7b_gguf
futfut_by_zephyr7b_gguf is a machine learning model from Dongwookss. Use it for the machine learning task on the model card, and read the license before you ship it in a product. It is set up for transformers. The card lists the license as apache-2.0.
<p align="center" <img src="https://cdn-uploads.huggingface.co/production/uploads/66305fd7fdd79b4fe6d6a5e5/7UDKdaPfBJnazuIi1cUVw.png" width="400" height="400" </p
Downloads · 30 days
2.2K
13% of all-time downloads
All-time downloads
17.2K
Public
Repo size
160 GB
Likes
2
Public
Click a slice to open those files.
.gguf160 GB · 100%
From the Hugging Face model README
Base Model : 'HuggingFaceH4/zephyr-7b-beta'
Purpose : '얼마든지 물어보세요~! 풋풋!'이 말 끝에 붙으며 '해요'체를 사용하는 챗봇을 구현하려고 한다. 프로젝트 목적상 RAG를 통해 풋살 도메인에 대한 정보를 제공하는 '풋풋이' 컨셉이기에 말투 설정이 이와 같다.
Method : Unsloth 패키지를 사용하여 gpu 자원이 초과되지 않도록 하였으며 SFTrainer를 사용하여 모델훈련을 진행함.
Environ : Colab L4 GPU를 사용하여 진행하였습니다.
About gguf : 풋풋이 최종 버전을 만들기 위해 각 단계별 모델을 저장하였습니다. 모델 양자화(Quantize) 종류로 F16, Q8_0, Q5_K_M 3가지로 저장하였습니다.