QED-75M_web

QED-75M Web (ONNX)

QED-75M — языковая модель (384 hidden, 32 слоя, 75M параметров), оптимизированная для веб-деплоя.

Репозиторий: https://huggingface.co/levossadtchi/QED-75M_web

---

📁 Файлы

---

💬 Формат промптов

Модель обучена на чат-формате. Для лучших результатов используйте:

<|user|>ваш вопрос<|assistant|>

Примеры:

---

🚀 Использование

Вариант 1: Transformers.js (рекомендуется)

npm install @xenova/transformers

import { AutoTokenizer, AutoModelForCausalLM } from '@xenova/transformers';

// Загрузка модели
const tokenizer = await AutoTokenizer.from_pretrained('levossadtchi/QED-75M_web');
const model = await AutoModelForCausalLM.from_pretrained('levossadtchi/QED-75M_web', {
    quantized: true,  // Использовать int8 квантование
    dtype: 'q8',
    device: 'webgpu',  // или 'wasm' для CPU
});

// Генерация
const prompt = '<|user|>What is 2+2?<|assistant|>';
const inputs = await tokenizer(prompt, { return_tensors: 'pt' });

const outputs = await model.generate({
    ...inputs,
    max_new_tokens: 128,
    temperature: 0.7,
    top_k: 40,
    do_sample: true,
    eos_token_id: tokenizer.eos_token_id,
    pad_token_id: tokenizer.pad_token_id,
});

const text = tokenizer.decode(outputs[0], { skip_special_tokens: false });
console.log(text);

Вариант 2: ONNX Runtime Web (низкоуровневый)

npm install onnxruntime-web

import * as ort from 'onnxruntime-web';

// Загрузка
const session = await ort.InferenceSession.create('model.onnx');

// Инференс
const inputIds = [1, 15826, 15, 638]; // токены
const tensor = new ort.Tensor('int64', BigInt64Array.from(inputIds.map(BigInt)), [1, inputIds.length]);
const { logits } = await session.run({ input_ids: tensor });

// Greedy decoding
const nextToken = logits.data.reduce((maxIdx, val, idx) => val > logits.data[maxIdx] ? idx : maxIdx, 0);

Вариант 3: Готовый HTML

Откройте index.html в браузере или задеплойте на Vercel/Netlify.

---

⚙️ Параметры генерации

Рекомендации:

• Для фактов: temperature=0.5, top_k=30
• Для креатива: temperature=0.8, top_k=50
• Для кода: temperature=0.2, top_k=20

---

🏗 Архитектура

---

📦 Квантование

Для уменьшения размера модели используйте int8 квантование:

pip install onnxruntime-tools

python -c "
from onnxruntime.quantization import quantize_dynamic, QuantType
quantize_dynamic('model.onnx', 'model_quantized.onnx', weight_type=QuantType.QUInt8)
"

Размеры:

• Оригинал (FP32): ~365 MB
• Квантованная (INT8): ~95 MB (−74%)

---

🌐 Браузерная поддержка

---

🔧 Локальный запуск

# Клонировать репозиторий
git lfs install
git clone https://huggingface.co/levossadtchi/QED-75M_web

# Запустить локальный сервер
cd QED-75M_web
python -m http.server 8000

# Открыть в браузере
open http://localhost:8000/index.html

---

📝 Лицензия

MIT