visualears-fastconformer-fa-depoisoned-phaseB-streaming-coreml-fp16

🎙️ visualears-fastconformer-fa-depoisoned-phaseB-streaming-coreml-fp16

English + فارسی · Part of Shenava 1.0 · Project hub · SLT paper submission

🌟 At a glance | معرفی سریع

🇬🇧 English documentation

🧭 Overview

De-poisoned Phase B streaming CoreML export. This repository is an official Shenava-1 release artifact, not an isolated checkpoint. It belongs to a Persian-first stack covering training data, streaming ASR, semantic evaluation, on-device exports, captioning applications, and reproducible benchmarks. Use the collection link above to locate sibling model sizes, deployment formats, datasets, and evaluation assets.

The artifact is optimized for Persian speech and the conventions used by the Shenava/VisualEars pipeline. A model file alone is not the entire inference system: audio preparation, tokenizer assets, streaming state, decoding, Persian text normalization, and inverse text normalization can materially affect observed output.

✅ Intended uses

• Persian ASR research, benchmarking, and reproducible comparison inside the Shenava-1 evaluation protocol.
• Offline or streaming transcription when the selected runtime and graph support that mode.
• On-device captioning, accessibility prototypes, and Persian speech interfaces.
• Conversion or runtime integration work that preserves the source model’s tokenizer, decoding assumptions, and numerical checks.

🚫 Out-of-scope or unsafe uses

• Do not treat transcripts as guaranteed verbatim records for legal, medical, emergency, or other high-stakes decisions.
• Do not infer identity, health, ethnicity, intent, or other sensitive traits from speech or model errors.
• Do not compare formats using different text normalization, test subsets, or decoding settings and present the result as model quality.
• Do not assume robustness to every Persian accent, code-switching pattern, recording channel, or adversarial acoustic condition.

📁 Repository contents

This snapshot contains 18 files totaling approximately 230.07 MB. Common file groups: .json × 7, .mlmodel × 3, .bin × 3, no extension × 2, .jsonl × 2, .md × 1.

Largest or representative artifacts:

• streaming_encoder_ctc_streaming_fp16.mlpackage/Data/com.apple.CoreML/weights/weight.bin
• rnnt_predictor_streaming_fp16.mlpackage/Data/com.apple.CoreML/weights/weight.bin
• rnnt_joint_streaming_fp16.mlpackage/Data/com.apple.CoreML/weights/weight.bin
• streaming_encoder_ctc_streaming_fp16.mlpackage/Data/com.apple.CoreML/model.mlmodel
• validation/coreml_streaming_ctc_269_rows.jsonl

The repository card and LICENSE are part of the release. Runtime-specific configuration, tokenizer, vocabulary, metadata, and state files should be kept beside the main weights when present.

🚀 Download and integration

from huggingface_hub import snapshot_download

local_dir = snapshot_download(
    repo_id="Reza2kn/visualears-fastconformer-fa-depoisoned-phaseB-streaming-coreml-fp16",
    local_dir="./visualears-fastconformer-fa-depoisoned-phaseB-streaming-coreml-fp16",
)
print(local_dir)

Use the runtime named by the artifact format. Inspect the exported graph signature before binding input and output tensors; deployment exports may expose cache/state tensors in addition to acoustic features.

For NeMo checkpoints, restore through nemo.collections.asr.models.ASRModel.restore_from(...) rather than assuming a CTC-only class. For converted artifacts, follow the graph metadata and the runtime-specific notes retained later in this card. Validate one known clip against the source checkpoint before shipping a conversion.

📏 Evaluation

Report at least WER and CER using the same Persian normalization rules, plus S³ when semantic importance matters. Shenava’s public Triple Threat leaderboard combines the Golden6669 and FLEURS-fa splits. Record the exact repository revision, decoder settings, chunk/context configuration, precision, device, and normalization code.

Deployment exports should be checked for numerical and transcription parity against their parent repository, Reza2kn/visualears-fastconformer-fa-full-ab . Runtime speed is hardware-specific; publish latency, real-time factor, warm-up policy, thread count, and audio duration together.

⚠️ Limitations and responsible use

ASR quality varies with accent, age, speaking style, background noise, distance, clipping, reverberation, telephony bandwidth, overlapping speech, and code-switching. Persian orthography also permits multiple acceptable written forms. WER or CER can therefore penalize a semantically correct alternative, while a low aggregate score can still hide loss of a critical word. Review meaning-critical outputs and expose uncertainty in accessibility-facing products.

🔁 Reproducibility checklist

1. Pin the Hub revision and runtime/library versions.
2. Resample audio deterministically and document channel mixing.
3. Keep tokenizer and decoding assets from this repository together.
4. Record streaming chunk, left/right context, cache reset, and endpointing behavior.
5. Apply one documented Persian normalization/ITN pipeline to references and hypotheses.
6. Publish failed cases and condition-level results, not only a single average.

🇮🇷 مستندات فارسی

🧭 معرفی

مدل جریانی فاز B پالایش‌شدهٔ ویژوال‌ایرز است. این مخزن یک مصنوع رسمی از انتشار Shenava-1 است و باید همراه با داده‌های آموزشی، توکنایزر، روش رمزگشایی، نرمال‌سازی فارسی و تنظیمات اجرای جریانی دیده شود. پیوند مجموعه در بالای صفحه، نسخه‌های هم‌خانواده، قالب‌های استقرار، داده‌ها و معیارهای ارزیابی را یک‌جا نشان می‌دهد.

هدف پروژه ارائهٔ زیرساخت باز و قابل بازتولید برای بازشناسی گفتار و زیرنویس فارسی است. نتیجهٔ نهایی فقط به وزن مدل وابسته نیست؛ نرخ نمونه‌برداری، کانال صوت، وضعیت کش، روش رمزگشایی، تبدیل اعداد گفتاری و یکسان‌سازی نیم‌فاصله نیز بر خروجی اثر دارند.

✅ کاربردهای پیشنهادی

• پژوهش، بنچمارک و مقایسهٔ منصفانهٔ ASR فارسی با پروتکل یکسان.
• رونویسی آفلاین یا جریانی، در صورتی که قالب و زمان‌اجرای انتخابی از آن پشتیبانی کند.
• زیرنویس روی دستگاه، ابزارهای دسترس‌پذیری و رابط‌های گفتاری فارسی.
• تبدیل مدل و یکپارچه‌سازی با زمان‌اجراهای مختلف همراه با آزمون برابری خروجی.

🚫 کاربردهای نامناسب

• خروجی را در تصمیم‌های پزشکی، حقوقی، اضطراری یا پرخطر به‌عنوان سند قطعی به کار نبرید.
• از خطا یا صدای کاربر برای استنباط هویت، سلامت، قومیت، نیت یا ویژگی حساس استفاده نکنید.
• نتایجی را که با زیرمجموعه، نرمال‌سازی یا رمزگشایی متفاوت ساخته شده‌اند مقایسهٔ مستقیم ننامید.
• پوشش کامل همهٔ لهجه‌ها، گفتار آمیخته، کانال‌ها و شرایط صوتی را فرض نکنید.

📁 محتوای مخزن

این نسخه شامل 18 فایل با حجم تقریبی 230.07 MB است. گروه‌های رایج فایل: .json × 7, .mlmodel × 3, .bin × 3, no extension × 2, .jsonl × 2, .md × 1.

فایل‌های شاخص:

• streaming_encoder_ctc_streaming_fp16.mlpackage/Data/com.apple.CoreML/weights/weight.bin
• rnnt_predictor_streaming_fp16.mlpackage/Data/com.apple.CoreML/weights/weight.bin
• rnnt_joint_streaming_fp16.mlpackage/Data/com.apple.CoreML/weights/weight.bin
• streaming_encoder_ctc_streaming_fp16.mlpackage/Data/com.apple.CoreML/model.mlmodel
• validation/coreml_streaming_ctc_269_rows.jsonl

فایل‌های توکنایزر، واژگان، پیکربندی، وضعیت جریانی و فراداده را در صورت وجود کنار وزن اصلی نگه دارید.

🚀 دریافت و استفاده

ابتدا snapshot کامل مخزن را دریافت کنید، سپس از زمان‌اجرای متناسب با قالب استفاده کنید. پیش از اتصال ورودی و خروجی، امضای گراف را بررسی کنید؛ خروجی‌های جریانی ممکن است علاوه بر ویژگی صوتی، تنسورهای وضعیت و کش داشته باشند.

برای چک‌پوینت NeMo از ASRModel.restore_from(...) استفاده کنید و مدل را صرفاً CTC فرض نکنید. برای خروجی‌های تبدیل‌شده، یک کلیپ مرجع را با مدل مبدأ مقایسه کنید و سپس استقرار را انجام دهید.

📏 ارزیابی

حداقل WER و CER را با نرمال‌سازی فارسی یکسان گزارش کنید و در سناریوهای حساس به معنا، S³ را نیز بیاورید. در جدول Triple Threat دو بخش Golden6669 و FLEURS-fa با هم سنجیده می‌شوند. شناسهٔ دقیق نسخه، تنظیمات دیکودر، کانتکست، دقت عددی، سخت‌افزار و کد نرمال‌سازی را ثبت کنید.

⚠️ محدودیت‌ها و استفادهٔ مسئولانه

لهجه، سن، سبک گفتار، نویز، فاصله، کلیپ‌شدن، پژواک، کانال تلفنی، هم‌پوشانی گویندگان و کدسوئیچینگ می‌توانند کیفیت را تغییر دهند. چند نگارش فارسی ممکن است از نظر معنایی درست باشند، اما WER/CER یکی را خطا حساب کند. در محصولات دسترس‌پذیری، واژه‌های کلیدی را جداگانه بازبینی و عدم قطعیت را به کاربر نشان دهید.

🔁 چک‌لیست بازتولید

۱. نسخهٔ دقیق مخزن و کتابخانه‌ها را ثابت کنید. ۲. تبدیل نرخ نمونه و کانال را مستند کنید. ۳. توکنایزر و دارایی‌های رمزگشایی همین مخزن را نگه دارید. ۴. اندازهٔ قطعه، کانتکست، بازنشانی کش و endpointing را ثبت کنید. ۵. یک خط لولهٔ نرمال‌سازی/ITN مشترک به مرجع و خروجی اعمال کنید. ۶. خطاهای نمونه‌ای و نتایج هر شرایط را در کنار میانگین منتشر کنید.

📚 Citation, links, and license | استناد، پیوندها و مجوز

• 🤗 Shenava-1 collection
• 🧰 Project repository
• 📄 SLT paper submission
• 📊 Persian ASR Triple Threat

@misc{shenava1_visualears_fastconformer_fa_depoisoned_phaseb_streaming_coreml_fp16,
  title  = {visualears-fastconformer-fa-depoisoned-phaseB-streaming-coreml-fp16: a Shenava-1 Persian speech artifact},
  author = {Reza2kn},
  year   = {2026},
  url    = {https://huggingface.co/Reza2kn/visualears-fastconformer-fa-depoisoned-phaseB-streaming-coreml-fp16}
}

Released under the Apache License 2.0. این مخزن با مجوز Apache 2.0 منتشر شده است.

---

📎 Retained technical notes | یادداشت‌های فنی پیشین

The pre-existing technical card is retained below for revision-specific commands, measurements, and artifact details. The bilingual sections above define the common Shenava-1 documentation contract.

یادداشت فنی قبلی برای فرمان‌ها، اندازه‌گیری‌ها و جزئیات همان نسخه در ادامه حفظ شده است. بخش‌های دوزبانهٔ بالا قرارداد مستندسازی مشترک Shenava-1 را تعریف می‌کنند.

VisualEars PhaseB Streaming CoreML FP16

CoreML MLProgram FP16 streaming split for Reza2kn/visualears-fastconformer-fa-depoisoned-phaseB.

Files:

• streaming_encoder_ctc_streaming_fp16.mlpackage
• rnnt_predictor_streaming_fp16.mlpackage
• rnnt_joint_streaming_fp16.mlpackage
• coreml_fixed_streaming_manifest.json

Streaming contract:

• feature chunk: 1 x 80 x 32
• chunk/shift config: chunk_size=4, shift_size=3, left_chunks=64
• feature shift window: [17, 24]
• encoder output per chunk: 1 x 512 x 2
• CTC logits per chunk: 1 x 2 x 1025
• channel cache: 17 x 1 x 256 x 512
• time cache: 17 x 1 x 512 x 4
• heads: RNNT and CTC

Validation so far:

• All three .mlpackage files load and run via CoreML CPU execution.
• Streaming encoder+CTC CTC argmax matched TorchScript on smoke probes.
• RNNT joint argmax matched TorchScript on smoke probes.
• Limit-5 streaming CTC transcript gate matched TorchScript source exactly.
• Full 269 streaming CTC transcript gate matched TorchScript streaming source on 265/269 normalized transcripts: 98.513%.
• Mean frame argmax match rate on the 269 gate: 99.946%.

Implementation note: the CoreML encoder uses a fixed streaming-contract shim for CoreMLTools conversion. It keeps the cache-bearing streaming interface but replaces NeMo runtime shape-to-Python-int slices with constants for this exact contract.