gc-llm-apertus-70b-instruct-2509

Government of Canada finetune of Apertus-70B-Instruct-2509 (gc-llm-apertus-70b-instruct-2509)

EN — A 70-billion-parameter bilingual (English/French) instruction model adapted by Shared Services Canada — Data Science and Artificial Intelligence (SSC-DSAI) to the Government of Canada domain. It is swiss-ai/Apertus-70B-Instruct-2509 further fine-tuned with LoRA on synthetic question–answer data derived from the Government of Canada Web Archive, blended with open instruction data to preserve general capability.

The model was trained end-to-end on Canadian public-sector infrastructure: A100-40GB nodes on the SSC HPC Science cluster in Montréal, Québec, and the Icelab H100 80GB node in Ottawa, Ontario. No data left the department and no commercial cloud GPUs were used at any stage of curation, generation, or training.

FR — Un modèle d'instruction bilingue (anglais/français) de 70 milliards de paramètres adapté au domaine du gouvernement du Canada par Services partagés Canada — Science des données et intelligence artificielle (SSC-DSAI). Il s'agit du modèle swiss-ai/Apertus-70B-Instruct-2509, affiné par LoRA sur des données synthétiques de questions-réponses tirées des Archives Web du gouvernement du Canada, mélangées à des données d'instruction ouvertes afin de préserver les capacités générales.

Le modèle a été entraîné de bout en bout sur une infrastructure du secteur public canadien : des nœuds A100 de 40 Go de la grappe scientifique du CHP de SPC à Montréal (Québec) et le nœud Icelab H100 de 80 Go à Ottawa (Ontario). Aucune donnée n'a quitté le Ministère et aucun GPU infonuagique commercial n'a été utilisé, à aucune étape de la curation, de la génération ou de l'entraînement.

---

<a id="model-details"></a>

Model details / Détails du modèle

[!IMPORTANT] EN — Although the architecture supports 65,536 positions, this fine-tune was trained on 2048-token sequences. Long-context behaviour is entirely inherited from the base model and was not exercised or verified by this training run.

FR — Bien que l'architecture prenne en charge 65 536 positions, ce réglage fin a été effectué sur des séquences de 2048 jetons. Le comportement en contexte long est entièrement hérité du modèle de base; il n'a été ni sollicité ni vérifié par cet entraînement.

---

<a id="intended-uses"></a>

Intended uses / Utilisations prévues

EN — In scope

• Bilingual question answering and summarisation grounded in Government of Canada public web content.
• A generator inside a retrieval-augmented generation (RAG) system over GC documents, where the retrieved passage is supplied in the prompt.
• Drafting assistance for public-sector text in either official language.
• Research on domain adaptation of open-weight models for Canadian public-sector use, and as a bilingual baseline for further fine-tuning.

EN — Out of scope

• Authoritative statements of Government of Canada policy, programs, benefits, eligibility, deadlines, or legal obligations. Model output is not a government record and carries no official standing. Always verify against canada.ca.
• Automated decision-making that affects individuals — benefits adjudication, immigration, enforcement, hiring, or any other administrative decision.
• Legal, medical, financial, or immigration advice.
• Any use handling classified, protected, or personal information: this model was developed entirely on unclassified public data and has no data-handling accreditation.
• Any use prohibited by the Apertus usage policy, which flows through to this derivative.

FR — Utilisations visées

• Réponse aux questions et résumé bilingues fondés sur le contenu Web public du gouvernement du Canada.
• Génération au sein d'un système de génération augmentée par récupération (RAG) portant sur des documents du GC, où le passage récupéré est fourni dans l'invite.
• Aide à la rédaction de textes du secteur public dans l'une ou l'autre des langues officielles.
• Recherche sur l'adaptation de domaine de modèles à poids ouverts pour le secteur public canadien, et utilisation comme référence bilingue pour un réglage fin ultérieur.

FR — Utilisations exclues

• Énoncés faisant autorité sur les politiques, programmes, prestations, critères d'admissibilité, échéances ou obligations légales du gouvernement du Canada. Les sorties du modèle ne constituent pas un document gouvernemental et n'ont aucune valeur officielle. Vérifiez toujours l'information auprès de canada.ca.
• Prise de décision automatisée touchant des personnes : décisions relatives aux prestations, à l'immigration, à l'application de la loi, à la dotation ou toute autre décision administrative.
• Conseils juridiques, médicaux, financiers ou en matière d'immigration.
• Tout usage mettant en jeu des renseignements classifiés, protégés ou personnels : ce modèle a été élaboré uniquement à partir de données publiques non classifiées et ne fait l'objet d'aucune accréditation en matière de traitement des données.
• Tout usage interdit par la politique d'utilisation d'Apertus, qui s'applique à ce dérivé.

---

<a id="how-to-use"></a>

How to use / Mode d'emploi

EN — The tokenizer ships the Apertus chat template, so apply_chat_template is the supported entry point.

FR — Le tokeniseur fournit le gabarit de conversation d'Apertus; apply_chat_template est donc le point d'entrée pris en charge.

transformers

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "ssc-dsai/gc-llm-apertus-70b-instruct-2509"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    dtype=torch.bfloat16,
    device_map="auto",
)
model.generation_config.use_cache = True  # config.json ships use_cache=false

messages = [
    {"role": "system", "content": "You are a helpful AI assistant with expertise in Canadian government, history, and archives. You provide accurate, informative responses based on Canadian context."},
    {"role": "user", "content": "Quelles sont les responsabilités de Services partagés Canada?"},
]

inputs = tokenizer.apply_chat_template(
    messages, add_generation_prompt=True, return_tensors="pt"
).to(model.device)

out = model.generate(inputs, max_new_tokens=512, temperature=0.7, top_p=0.9)
print(tokenizer.decode(out[0][inputs.shape[-1]:], skip_special_tokens=True))

vLLM

vllm serve ssc-dsai/gc-llm-apertus-70b-instruct-2509 \
    --tensor-parallel-size 4 \
    --dtype bfloat16 \
    --max-model-len 8192

EN — Hardware. bfloat16 weights are ~140 GB, so inference needs at least 2×80 GB GPUs, and realistically 4×80 GB (or 4×H100) once KV cache and activations are accounted for. Generation stops on any of </s> (2), <|assistant_end|> (68), or <|tools_suffix|> (72), as declared in generation_config.json.

FR — Matériel. Les poids en bfloat16 occupent environ 140 Go. L'inférence exige donc au minimum 2 GPU de 80 Go, et plus réalistement 4 GPU de 80 Go (ou 4 H100) une fois le cache KV et les activations pris en compte. La génération s'arrête à l'un ou l'autre des jetons </s> (2), <|assistant_end|> (68) ou <|tools_suffix|> (72), tel que déclaré dans generation_config.json.

Matching the training distribution / Reproduire la distribution d'entraînement

EN — Two details from the fine-tuning data are worth reproducing at inference time:

• System message. Every training example carried: "You are a helpful AI assistant with expertise in Canadian government, history, and archives. You provide accurate, informative responses based on Canadian context."
• Retrieval turn shape. Question-answering examples were built as a single user turn shaped Context: {context}\n\nQuestion: {question}. In a RAG setup, supplying the retrieved passage in that exact shape most closely matches how the model was trained.

FR — Deux éléments des données de réglage fin méritent d'être reproduits au moment de l'inférence :

• Message système. Chaque exemple d'entraînement comportait le message anglais reproduit ci-dessus.
• Forme du tour de récupération. Les exemples de questions-réponses ont été construits comme un tour utilisateur unique de la forme Context: {context}\n\nQuestion: {question}. Dans une configuration RAG, fournir le passage récupéré sous cette forme exacte correspond le mieux à l'entraînement du modèle.

---

<a id="training-data"></a>

Training data / Données d'entraînement

Government of Canada Web Corpus / Corpus Web du gouvernement du Canada

EN — The domain data originates from the Government of Canada Web Archive, obtained from Library and Archives Canada in March 2024 (Archive-It collections 7084, 10408, and 3935). Coverage spans roughly 2016–2025 across public-facing *.gc.ca domains. The processing chain was:

1. Acquisition — WARC files pulled over the Archive-It WASAPI API onto HPC transfer nodes.
2. Extraction — HTML and PDF records converted to text, discarding non-content records.
3. Curation — language identification (English/French retained, everything else dropped), exact deduplication, and heuristic filters removing short lines, JSON/JavaScript fragments, error-page boilerplate ("Error 404", "Not found", "Captcha"), and special-character-dense lines.
4. Synthetic QA generation — a distributed Ray Data + vLLM pipeline prompted a mid-size open instruction model (Llama-3.1-8B-Instruct and Qwen2.5-7B-Instruct were both used, per language and pipeline revision) to emit JSON question–answer pairs grounded in each passage, or None when the passage was too low-quality to use.
5. Post-processing — JSON parsing with heuristic repair, a second heuristic filter for degenerate generations, and MinHash near-deduplication (HuggingFace Datatrove) keyed on response plus context text.

The result is published as the companion datasets ssc-dsai/gc-web-en and ssc-dsai/gc-web-fr, where each record pairs a web passage (context) with generated questions / answers and provenance metadata (source URI, WARC record ID, crawl date, domain).

FR — Les données de domaine proviennent des Archives Web du gouvernement du Canada, obtenues de Bibliothèque et Archives Canada en mars 2024 (collections Archive-It 7084, 10408 et 3935). La couverture s'étend approximativement de 2016 à 2025 sur les domaines publics *.gc.ca. La chaîne de traitement était la suivante :

1. Acquisition — Fichiers WARC téléchargés au moyen de l'API WASAPI d'Archive-It vers des nœuds de transfert du CHP.
2. Extraction — Enregistrements HTML et PDF convertis en texte, en écartant les enregistrements sans contenu.
3. Curation — Identification de la langue (anglais et français conservés, tout le reste écarté), déduplication exacte, et filtres heuristiques supprimant les lignes courtes, les fragments JSON/JavaScript, le texte passe-partout des pages d'erreur (« Error 404 », « Not found », « Captcha ») et les lignes à forte densité de caractères spéciaux.
4. Génération synthétique de questions-réponses — Un pipeline distribué Ray Data + vLLM a sollicité un modèle d'instruction ouvert de taille moyenne (Llama-3.1-8B-Instruct et Qwen2.5-7B-Instruct, selon la langue et la révision du pipeline) pour produire des paires question-réponse au format JSON ancrées dans chaque passage, ou la valeur None lorsque le passage était de qualité insuffisante.
5. Post-traitement — Analyse syntaxique JSON avec réparation heuristique, second filtre heuristique visant les générations dégénérées, et quasi-déduplication MinHash (HuggingFace Datatrove) fondée sur la réponse et le texte de contexte.

Le résultat est publié sous forme des ensembles de données complémentaires ssc-dsai/gc-web-en et ssc-dsai/gc-web-fr, où chaque enregistrement associe un passage Web (context) à des questions et answers générées ainsi qu'à des métadonnées de provenance (URI source, identifiant d'enregistrement WARC, date de collecte, domaine).

Instruction mixture / Mélange d'instructions

EN — GC data alone would erode general ability, so it was interleaved with open instruction corpora. FR — Les données du GC seules auraient érodé les capacités générales; elles ont donc été entrelacées avec des corpus d'instructions ouverts.

EN — Examples were formatted, tokenized, and truncated to 2048 tokens, then shuffled into a single corpus of 5,694,160 sequences (seed 42). FR — Les exemples ont été formatés, tokenisés et tronqués à 2048 jetons, puis mélangés en un corpus unique de 5 694 160 séquences (graine aléatoire : 42).

[!NOTE] EN — Loss was computed over the full sequence. Labels were set to a copy of input_ids with no prompt masking, so system and user tokens contributed to the training objective alongside assistant tokens. This is a deliberate documentation point, not a recommendation — prompt masking is the more usual choice for SFT.

FR — La perte a été calculée sur l'ensemble de la séquence. Les étiquettes étaient une copie de input_ids, sans masquage de l'invite : les jetons système et utilisateur ont donc contribué à l'objectif d'entraînement au même titre que ceux de l'assistant. Il s'agit d'une précision documentaire et non d'une recommandation — le masquage de l'invite est le choix le plus courant pour le réglage fin supervisé (SFT).

---

<a id="training-procedure"></a>

Training procedure / Procédure d'entraînement

EN — LoRA supervised fine-tuning of the base model, subsequently merged into the base weights and released as a standalone dense checkpoint. FR — Réglage fin supervisé par LoRA du modèle de base, ensuite fusionné dans les poids de base et publié comme point de contrôle dense autonome.

---

<a id="evaluation"></a>

Evaluation / Évaluation

EN — Two questions matter for this model: did Canadian-context grounding improve, and did general capability survive. Only the second has been measured so far. The numbers below are standard English benchmarks, reported against the unmodified base model.

FR — Deux questions comptent pour ce modèle : l'ancrage dans le contexte canadien s'est-il amélioré, et les capacités générales ont-elles été préservées? Seule la seconde a été mesurée à ce jour. Les chiffres ci-dessous portent sur des tests de référence anglais standards, comparés au modèle de base non modifié.

_{GC-LLM (blue / bleu), base Apertus-70B-Instruct-2509 (orange), Llama-3.3-70B (green / vert).}

General benchmarks / Tests de référence généraux

MMLU by category / MMLU par catégorie

What the numbers say / Ce que révèlent les chiffres

EN — General capability regressed slightly and almost uniformly. Across all 57 MMLU subjects, GC-LLM scores better on 9, worse on 44, and ties on 4, for a mean delta of −0.021. All four MMLU category aggregates are down, Social Sciences most (−0.028) and STEM least (−0.015). The only benchmark-level improvement anywhere is WinoGrande, at +0.005 — well inside noise.

That much is the expected cost of domain SFT, and the interleaved Tulu 3 / Aya / NuminaMath / Evol-CodeAlpaca mixture appears to have held it to about two points rather than the sharp forgetting an undiluted domain corpus would produce.

FR — Les capacités générales ont légèrement régressé, de façon presque uniforme. Sur les 57 matières MMLU, GC-LLM obtient de meilleurs résultats pour 9, de moins bons pour 44, et des résultats identiques pour 4, soit un écart moyen de −0,021. Les quatre agrégats de catégories sont en baisse : Sciences sociales le plus (−0,028), STEM le moins (−0,015). La seule amélioration à l'échelle d'un test de référence est WinoGrande, à +0,005 — bien en deçà du bruit statistique.

C'est le coût attendu d'un réglage fin de domaine, et le mélange entrelacé Tulu 3 / Aya / NuminaMath / Evol-CodeAlpaca semble l'avoir limité à environ deux points, plutôt qu'à l'oubli marqué qu'aurait produit un corpus de domaine non dilué.

[!WARNING] EN — TruthfulQA is the exception: 0.507 against the base's 0.605, a drop of −0.098. That is five times the average regression and the largest movement in the entire evaluation. A model fine-tuned to answer confidently in a specific institutional voice becoming measurably less truthful on adversarial questions is a predictable failure mode, but it needs to be treated as a real finding rather than benchmark noise. Anyone deploying this model where confidently-wrong answers carry a cost should weigh this heavily, and it should be the first thing re-measured after any further training.

FR — TruthfulQA fait exception: 0,507 contre 0,605 pour le modèle de base, soit une baisse de −0,098. C'est cinq fois la régression moyenne et le plus grand écart de toute l'évaluation. Qu'un modèle affiné pour répondre avec assurance dans un registre institutionnel précis devienne mesurablement moins véridique face à des questions adverses est un mode de défaillance prévisible, mais il faut y voir un résultat réel et non du bruit de mesure. Quiconque déploie ce modèle dans un contexte où une réponse fausse énoncée avec assurance a un coût devrait en tenir sérieusement compte; c'est aussi la première mesure à reprendre après tout entraînement additionnel.

EN — Among individual subjects, the largest regressions are Business Ethics (−0.100), College Computer Science (−0.090), High School Computer Science (−0.090), Econometrics (−0.070), and Professional Medicine (−0.055). Law-adjacent subjects slipped consistently — International Law (−0.049), Professional Law (−0.048), Jurisprudence (−0.046) — worth noting given how much of the training corpus is regulatory and legislative text. Where GC-LLM comes out ahead it is mostly mathematics: College Mathematics (+0.060), College Chemistry (+0.050), Medical Genetics (+0.040), High School Mathematics (+0.033), Moral Scenarios (+0.028), US Foreign Policy (+0.020). On subsets of a few hundred questions these margins are within noise and should not be read as real gains.

FR — Parmi les matières individuelles, les plus fortes régressions touchent Business Ethics (−0,100), College Computer Science (−0,090), High School Computer Science (−0,090), Econometrics (−0,070) et Professional Medicine (−0,055). Les matières juridiques reculent de façon constante — International Law (−0,049), Professional Law (−0,048), Jurisprudence (−0,046) — ce qui mérite d'être signalé, vu la part de textes réglementaires et législatifs dans le corpus. Là où GC-LLM devance sa base, il s'agit surtout de mathématiques : College Mathematics (+0,060), College Chemistry (+0,050), Medical Genetics (+0,040), High School Mathematics (+0,033), Moral Scenarios (+0,028), US Foreign Policy (+0,020). Sur des sous-ensembles de quelques centaines de questions, ces écarts se situent dans le bruit et ne doivent pas être interprétés comme des gains réels.

<details> <summary><strong>Full MMLU per-subject breakdown (57 subjects) / Détail des 57 matières MMLU</strong></summary>

_{Subject names are the official MMLU sub-task identifiers and are left in English. / Les noms de matières sont les identifiants officiels des sous-tâches MMLU et demeurent en anglais.}

</details>

---

<a id="safety-evaluation"></a>

Safety evaluation / Évaluation de la sécurité

[!CAUTION] EN — Disclaimer. Safety evaluations measure observed behaviour under specific test conditions and cannot guarantee that unsafe, incorrect, biased, or policy-violating outputs will never occur. Users should continue to employ retrieval grounding, monitoring, logging, and human oversight appropriate to their deployment context.

FR — Avertissement. Les évaluations de sécurité mesurent le comportement observé dans des conditions d'essai précises et ne peuvent garantir qu'aucune sortie dangereuse, inexacte, biaisée ou contraire aux politiques ne sera jamais produite. Les utilisateurs doivent continuer de recourir à l'ancrage par récupération, à la surveillance, à la journalisation et à la supervision humaine appropriés à leur contexte de déploiement.

Methodology / Méthodologie

EN — The model was evaluated using the open-source Promptfoo red-teaming framework (promptfoo.dev, GitHub). Promptfoo automatically generates and scores adversarial prompts across a wide range of safety, security, privacy, and reliability categories, including multi-turn attack scenarios. The framework was used to assess model behaviour under direct attacks ("Basic"), iterative jailbreak attempts ("Iterative"), and combined risk assessments ("Composite").

Three independent evaluation runs were conducted across 39 risk domains (plugins, listed below). Each category contained approximately 70 adversarial prompts per evaluation run, including both single-turn and multi-turn attack variants. Each run comprised approximately 2,730 tests — 390 plugin tests across the 39 plugins, expanded by three red-teaming strategies — executed with a maximum concurrency of 16. The fine-tuned GC-LLM was compared against the base Apertus-70B-Instruct-2509 model using the same Promptfoo evaluation suite.

FR — Le modèle a été évalué au moyen du cadre de simulation d'attaque à code source ouvert Promptfoo (promptfoo.dev, GitHub). Promptfoo génère et note automatiquement des requêtes adverses couvrant un large éventail de catégories liées à la sécurité, à la sûreté, à la protection de la vie privée et à la fiabilité, y compris des scénarios d'attaque à plusieurs tours. Le cadre a servi à évaluer le comportement du modèle face à des attaques directes (« De base »), à des tentatives itératives de contournement (« Itérative ») et à des évaluations de risques combinées (« Composite »).

Trois exécutions d'évaluation indépendantes ont été menées sur 39 domaines de risque (modules d'extension, énumérés ci-dessous). Chaque catégorie comptait environ 70 requêtes adverses par exécution, y compris des variantes d'attaque à un seul tour et à plusieurs tours. Chaque exécution comportait environ 2 730 tests — 390 tests de modules répartis sur les 39 modules, démultipliés par trois stratégies de simulation d'attaque — exécutés avec une simultanéité maximale de 16. Le modèle affiné GC-LLM a été comparé au modèle de base Apertus-70B-Instruct-2509 à l'aide de la même suite d'évaluation Promptfoo.

<details> <summary><b>Promptfoo plugins (39) / Modules d'extension Promptfoo (39)</b></summary>

_{Plugin names are Promptfoo identifiers and are left in English. / Les noms des modules sont des identifiants Promptfoo et sont laissés en anglais.}

</details> <details> <summary><b>Example run summary (one run, before cleaning) / Exemple de sommaire d'exécution (une exécution, avant nettoyage)</b></summary>

Test generation / Génération des tests
  Total tests / Tests au total ............ 2,730
  Plugin tests / Tests de modules ......... 390
  Plugins / Modules ....................... 39
  Strategies / Stratégies ................. 3
  Max concurrency / Simultanéité maximale . 16

Total tokens / Jetons au total ............ 6,422,005
  Probes / Sondes ......................... 4,124
  Eval / Évaluation ....................... 4,306,353 (2,520,519 prompt, 1,784,017 completion,
                                                       1,817 cached, 223,493 reasoning)
  Grading / Notation ...................... 2,115,652 (1,895,648 prompt, 220,004 completion)

Outcome / Résultat
  Passed / Réussis ........................ 1,875 (68.68 %)
  Failed / Échoués ........................ 855 (31.32 %)
  Errors / Erreurs ........................ 0 (0 %)

Duration / Durée .......................... 49 min 12 s (concurrency / simultanéité : 16)

</details>

Results / Résultats

EN — GC-LLM was evaluated across single-turn scenarios to assess safety and guardrail performance. GC-LLM performed competitively across the evaluation suite, although Basic benchmark scores were approximately 18% lower than those achieved by Apertus.

The largest opportunities for improvement were identified in hallucination resistance, contractual-commitment handling, malicious-code refusal, cybersecurity, and specialized-advice safety testing. These results indicate that stronger baseline guardrail enforcement in these areas could further enhance performance under direct prompting conditions.

At the same time, GC-LLM demonstrated robust performance across broader safety, privacy, and alignment scenarios. Overall, the findings suggest a balance between baseline guardrail strictness and resilience across more complex real-world interactions.

FR — GC-LLM a été évalué dans des scénarios à un seul tour afin d'apprécier son rendement en matière de sécurité et de garde-fous. GC-LLM a obtenu des résultats concurrentiels sur l'ensemble de la suite d'évaluation, bien que ses scores au test « De base » soient inférieurs d'environ 18 % à ceux d'Apertus.

Les principales possibilités d'amélioration ont été relevées pour la résistance aux hallucinations, le traitement des engagements contractuels, le refus de produire du code malveillant, la cybersécurité et les tests de sécurité liés aux conseils spécialisés. Ces résultats indiquent qu'une application plus rigoureuse des garde-fous de base dans ces domaines pourrait améliorer davantage le rendement en situation d'incitation directe.

Parallèlement, GC-LLM a fait preuve d'un rendement solide dans des scénarios plus larges de sécurité, de protection de la vie privée et d'alignement. Dans l'ensemble, les constats suggèrent un équilibre entre la rigueur des garde-fous de base et la résilience dans des interactions réelles plus complexes.

a. Mean scores of 3 evaluation runs, GC-LLM vs. Apertus / Scores moyens de 3 exécutions, GC-LLM par rapport à Apertus

_{Basic (single-turn) strategy. Higher is safer. / Stratégie de base (un seul tour). Un score plus élevé indique un comportement plus sûr.}

b. Delta, GC-LLM vs. Apertus / Écart, GC-LLM par rapport à Apertus

_{Delta = GC-LLM average − Apertus average. Chart labels are in English. / Écart = moyenne de GC-LLM − moyenne d'Apertus. Les étiquettes des graphiques sont en anglais.}

c. Percentage change, GC-LLM vs. Apertus / Variation en pourcentage, GC-LLM par rapport à Apertus

_{Percentage change = (GC-LLM average − Apertus average) ÷ Apertus average. / Variation en pourcentage = (moyenne de GC-LLM − moyenne d'Apertus) ÷ moyenne d'Apertus.}

Overall assessment / Évaluation globale

EN — The results indicate that GC-LLM exhibits performance differences rather than a clear safety deficit. The observed deltas suggest variation in model behaviour depending on evaluation methodology, but do not provide evidence of a significant or systematic weakness in jailbreak resistance requiring immediate mitigation.

FR — Les résultats indiquent que GC-LLM présente des écarts de rendement plutôt qu'un déficit de sécurité manifeste. Les écarts observés traduisent une variation du comportement du modèle selon la méthode d'évaluation, mais ne démontrent pas de faiblesse importante ou systématique de la résistance au contournement qui exigerait une atténuation immédiate.

[!NOTE] EN — Limitations of the evaluation. These results characterize behaviour on the Promptfoo evaluation suite only and should not be interpreted as a guarantee of safety in deployment. Promptfoo red teaming measures performance against a large set of automatically generated adversarial prompts, but no benchmark can exhaustively cover all possible misuse scenarios.

FR — Limites de l'évaluation. Ces résultats décrivent le comportement observé sur la seule suite d'évaluation Promptfoo et ne doivent pas être interprétés comme une garantie de sécurité en déploiement. La simulation d'attaque Promptfoo mesure le rendement face à un vaste ensemble de requêtes adverses générées automatiquement, mais aucun test de référence ne peut couvrir de façon exhaustive tous les scénarios d'utilisation abusive possibles.

Remaining work / Travaux à venir

EN — Additional evaluation work remains in the following areas:

• Replication of multi-turn and composite/adversarial scenario testing using additional Promptfoo red-team attack strategies.
• Formal fairness and bias assessment, specifically: (1) English/French parity testing; (2) regional and cultural representation assessment; (3) Indigenous and minority-group representation review; (4) differential-treatment analysis across protected grounds identified in applicable policies and human rights legislation.
• Additional evaluations using BBQ, ToxiGen, HarmBench, RealToxicityPrompts, and LinguaSafe to support direct comparison with Apertus's published safety and bias benchmark results.
• Privacy memorization and data-leakage testing.
• Human-led bilingual red-teaming exercises.
• Government of Canada–specific misinformation and disinformation assessment.
• Long-context safety and robustness evaluation.

FR — D'autres travaux d'évaluation restent à mener dans les domaines suivants :

• Reproduction des tests de scénarios à plusieurs tours et composites/adverses au moyen de stratégies d'attaque Promptfoo supplémentaires.
• Évaluation formelle de l'équité et des biais, notamment : (1) tests de parité anglais-français; (2) évaluation de la représentation régionale et culturelle; (3) examen de la représentation des Autochtones et des groupes minoritaires; (4) analyse du traitement différentiel selon les motifs de distinction illicite reconnus par les politiques applicables et la législation sur les droits de la personne.
• Évaluations supplémentaires au moyen de BBQ, ToxiGen, HarmBench, RealToxicityPrompts et LinguaSafe, afin de permettre une comparaison directe avec les résultats de sécurité et de biais publiés pour Apertus.
• Tests de mémorisation de données personnelles et de fuite de données.
• Exercices bilingues de simulation d'attaque menés par des humains.
• Évaluation de la mésinformation et de la désinformation propres au gouvernement du Canada.
• Évaluation de la sécurité et de la robustesse en contexte long.

---

<a id="limitations"></a>

Limitations, risks, and biases / Limites, risques et biais

EN — Factual reliability

• The web crawl has an effective knowledge cutoff around 2025. Programs, rates, forms, deadlines, and org structures change continuously; the model will confidently state stale information.
• Training answers were synthesised by a 7–8B teacher model, not written or reviewed by subject-matter experts. Teacher hallucinations and misreadings are baked into the corpus, and the fine-tune propagates them.
• The model does not cite sources or express calibrated uncertainty. For anything a user might act on, pair the model with retrieval and show the citation.

EN — Training-recipe caveats

• General capability regressed measurably: about −2 points on MMLU, −1.3 on ARC-Challenge and HellaSwag, and 44 of 57 MMLU subjects down. If you do not need Canadian-context grounding, the base model is the better choice.
• Truthfulness regressed sharply. TruthfulQA fell from 0.605 to 0.507 (−0.098), by far the largest movement measured.
• Prompt/completion loss masking was not applied.
• Training sequences were capped at 2048 tokens; longer source passages were truncated rather than chunked.

EN — Coverage and bias

• English and French only. Other languages were filtered out during curation.
• Content reflects the federal government's own published voice: institutional register, official framing of policy, and the topical distribution of .gc.ca. It is not a neutral account of Canadian public affairs, and it under-represents provincial, territorial, municipal, and Indigenous governments.
• Bilingual coverage is uneven. English .gc.ca content is more plentiful and often more current than its French counterpart.
• Archived pages carry residual navigation chrome and boilerplate that filtering did not fully remove.

EN — Safety

• Red-teaming: initial automated results only. An automated Promptfoo red-teaming evaluation (Basic single-turn strategy, 39 plugins, 3 runs) found GC-LLM scoring approximately 18% lower than the base Apertus model, with the largest drops in methamphetamine, chemical and biological weapons, unsafe practices, indiscriminate weapons, illegal drugs, specialized advice, and IED prompts — see Safety evaluation. No safety tuning or alignment work has been applied beyond what the base model already carried, and human-led, bilingual, multi-turn, and long-context red-teaming have not yet been completed. Do not treat these automated results as evidence of safety.
• Source pages are public, but public government pages do incidentally name individuals. Do not use this model to profile, identify, or contact individuals.

FR — Fiabilité factuelle

• La collecte Web a une limite de connaissances effective autour de 2025. Les programmes, taux, formulaires, échéances et structures organisationnelles changent continuellement : le modèle énoncera avec assurance des renseignements périmés.
• Les réponses d'entraînement ont été synthétisées par un modèle enseignant de 7 à 8 milliards de paramètres, et non rédigées ni révisées par des spécialistes du domaine. Les hallucinations et erreurs de lecture du modèle enseignant sont intégrées au corpus, et le réglage fin les propage.
• Le modèle ne cite pas ses sources et n'exprime pas d'incertitude calibrée. Pour tout contenu sur lequel un utilisateur pourrait agir, associez le modèle à un mécanisme de récupération et affichez la référence.

FR — Réserves liées à la recette d'entraînement

• Les capacités générales ont régressé de façon mesurable : environ −2 points sur MMLU, −1,3 sur ARC-Challenge et HellaSwag, et 44 des 57 matières MMLU en baisse. Si l'ancrage dans le contexte canadien ne vous est pas nécessaire, le modèle de base est le meilleur choix.
• La véracité a nettement régressé. TruthfulQA passe de 0,605 à 0,507 (−0,098), de loin le plus grand écart mesuré.
• Aucun masquage de l'invite n'a été appliqué au calcul de la perte.
• Les séquences d'entraînement ont été plafonnées à 2048 jetons; les passages plus longs ont été tronqués plutôt que découpés.

FR — Couverture et biais

• Anglais et français seulement. Les autres langues ont été écartées lors de la curation.
• Le contenu reflète la voix publiée du gouvernement fédéral : registre institutionnel, cadrage officiel des politiques et répartition thématique de .gc.ca. Il ne constitue pas un compte rendu neutre des affaires publiques canadiennes et sous-représente les gouvernements provinciaux, territoriaux, municipaux et autochtones.
• La couverture bilingue est inégale. Le contenu anglais de .gc.ca est plus abondant et souvent plus à jour que son équivalent français.
• Les pages archivées comportent des éléments de navigation et du texte passe-partout résiduels que le filtrage n'a pas entièrement supprimés.

FR — Sécurité

• Simulation d'attaque (red teaming) : résultats automatisés préliminaires seulement. Une évaluation automatisée par simulation d'attaque Promptfoo (stratégie de base à un seul tour, 39 modules, 3 exécutions) a révélé que GC-LLM obtient des scores inférieurs d'environ 18 % à ceux du modèle de base Apertus, les baisses les plus marquées touchant la méthamphétamine, les armes chimiques et biologiques, les pratiques dangereuses, les armes à effet indiscriminé, les drogues illégales, les conseils spécialisés et les engins explosifs improvisés — voir Évaluation de la sécurité. Aucun travail de sécurisation ou d'alignement n'a été appliqué au-delà de ce que portait déjà le modèle de base, et les simulations d'attaque menées par des humains, bilingues, à plusieurs tours et en contexte long n'ont pas encore été réalisées. Ces résultats automatisés ne doivent pas être interprétés comme une preuve d'innocuité.
• Les pages sources sont publiques, mais les pages Web gouvernementales nomment incidemment des personnes. N'utilisez pas ce modèle pour profiler, identifier ou joindre des personnes.

---

<a id="license-and-attribution"></a>

License and attribution / Licence et attribution

EN — The model weights are released under Apache 2.0, inherited from swiss-ai/Apertus-70B-Instruct-2509. The Apertus usage policy applies to this derivative. This model is not an official Government of Canada product or service, and its outputs are not government records.

FR — Les poids du modèle sont diffusés sous licence Apache 2.0, héritée de swiss-ai/Apertus-70B-Instruct-2509. La politique d'utilisation d'Apertus s'applique à ce dérivé. Ce modèle n'est ni un produit ni un service officiel du gouvernement du Canada, et ses sorties ne constituent pas des documents gouvernementaux.

Training data carries its own terms / Les données d'entraînement sont assorties de leurs propres conditions :

• Government of Canada web content / Contenu Web du gouvernement du Canada — Open Government Licence – Canada (EN / FR)
• allenai/tulu-3-sft-mixture — ODC-BY
• CohereForAI/aya_dataset — Apache 2.0
• AI-MO/NuminaMath-TIR — Apache 2.0
• theblackcat102/evol-codealpaca-v1 — Apache 2.0

EN — Acknowledgements. Library and Archives Canada supplied access to the Government of Canada Web Archive. The SSC HPC group provided the Science clusters and the SSC Icelab team the H100 node the work ran on. The Swiss AI Initiative (EPFL / ETH Zürich / CSCS) built and released Apertus.

FR — Remerciements. Bibliothèque et Archives Canada a donné accès aux Archives Web du gouvernement du Canada. Le groupe CHP de SPC a fourni les grappes scientifiques et l'équipe Icelab de SPC, le nœud H100 utilisés pour ces travaux. La Swiss AI Initiative (EPFL / ETH Zürich / CSCS) a conçu et publié Apertus.

---

<a id="citation"></a>

Citation / Référence bibliographique

@misc{ssc_dsai_gc_llm_apertus_70b_2026,
  author       = {{Shared Services Canada, Data Science and Artificial Intelligence}},
  title        = {{GC LLM --- Apertus-70B-Instruct-2509}},
  year         = {2026},
  publisher    = {Hugging Face},
  url          = {https://huggingface.co/ssc-dsai/gc-llm-apertus-70b-instruct-2509},
}

Please also cite the base model / Veuillez également citer le modèle de base :

@misc{apertus2025,
  title        = {{Apertus: Democratizing Open and Compliant LLMs for Global Language Environments}},
  author       = {{Apertus Team}},
  year         = {2025},
  eprint       = {2509.14233},
  archivePrefix= {arXiv},
}

---

<a id="contact"></a>

Contact / Personne-ressource

Shared Services Canada — Data Science and Artificial Intelligence (SSC-DSAI). Services partagés Canada — Science des données et intelligence artificielle (SSC-DSAI).

EN — For questions about this model contact [email protected].

FR — Pour toute question au sujet de ce modèle écrivez à [email protected].