Qwen3.5-0.8B-q4_k_m

Qwen3.5-0.8B-q4_k_m

이 디렉토리는 온디바이스 모바일 애플리케이션에서 로컬 구동하기 위해 준비된 경량 양자화 GGUF 모델 가중치를 보관합니다.

모델 정보

• Hugging Face 리포지토리: bluexmas/Qwen3.5-0.8B-q4_k_m
• 가중치 파일명: Qwen3.5-0.8B-q4_k_m.gguf
• 양자화 형식: GGUF (Q4_K_M 4-bit)
• 용도: 모바일 기기(Android/iOS) 및 온디바이스(Embedded) 환경용 로컬 초경량 자연어 추론 모델

파일 다운로드 링크

수동 다운로드가 필요한 경우 아래 Hugging Face LFS 링크를 통해 직접 다운로드할 수 있습니다:

• Qwen3.5-0.8B-q4_k_m.gguf 다운로드

---

다운로드 및 캐싱 구현 (Flutter 예제)

애플리케이션 실행 시 로컬 저장소에 모델 파일이 존재하는지 검사하고, 없을 경우 허깅페이스 서버로부터 실시간 스트리밍 다운로드하는 코드를 아래와 같이 적용할 수 있습니다.

import 'dart:io';
import 'package:dio/dio.dart';
import 'package:path_provider/path_provider.dart';

Future<File> getOrDownloadModel() async {
  final directory = await getApplicationSupportDirectory();
  final localPath = "${directory.path}/Qwen3.5-0.8B-q4_k_m.gguf";
  final file = File(localPath);

  // 로컬 캐시에 이미 파일이 있다면 즉시 반환
  if (await file.exists()) {
    return file;
  }

  // 허깅페이스 LFS 다운로드 URL
  final downloadUrl = "https://huggingface.co/bluexmas/Qwen3.5-0.8B-q4_k_m/resolve/main/Qwen3.5-0.8B-q4_k_m.gguf";

  try {
    print("모델 다운로드 시작...");
    await Dio().download(
      downloadUrl,
      localPath,
      onReceiveProgress: (received, total) {
        if (total != -1) {
          double progress = (received / total) * 100;
          print("다운로드 진행률: ${progress.toStringAsFixed(1)}%");
        }
      },
    );
    print("다운로드 완료: $localPath");
  } catch (e) {
    print("다운로드 실패: $e");
    rethrow;
  }

  return file;
}