42dot_LLM-PLM-1.3B_GGUF

42dot_LLM-PLM-1.3B_GGUF

• 모델 만든 사람: 42dot
• 원본 모델: 42dot_LLM-PLM-1.3B

설명

42dot 모델의 GGUF 경량화 모델을 만들어 뒀습니다.

42dot_LLM-PLM-1.3B

파일

링크에 연결 해두었으니 필요하신 분은 하트 주고 챙겨 가세요. gguf 원본 파일

• 42dot_LLM-PLM-1.3B.gguf

Q4, Q8 경량화 파일

• 42dot_LLM-PLM-1.3B-Q4_K_M
• 42dot_LLM-PLM-1.3B-Q8_K

이외 모델은 근본 없어서 올릴까 하다가 안 올리려고 합니다.

사용법

원본

원본 링크에서 사용 법을 확인하세요.

Llama.cpp로 사용법 샘플

For simple inferencing, use a command similar to

./main -m gguf-q4_k_m.gguf --temp 0 --top-k 4 --prompt "who was Joseph Weizenbaum?"

Llama.cpp로 토크나이징 샘플

To get a list of tokens, use a command similar to

./tokenization -m gguf-q4_k_m.gguf --prompt "who was Joseph Weizenbaum?"

Llama.cpp로 임베딩 샘플

Text embeddings are calculated with a command similar to

./embedding -m gguf-q4_k_m.gguf --prompt "who was Joseph Weizenbaum?"

License

원본 모델 라이센스는 Creative Commons Attribution-NonCommercial 4.0 (CC BY-NC 4.0) 참고하세요.