Swiss German Voice Benchmark

Ce benchmark sélectionne des enregistrements ETH SwissDial dans huit dialectes suisses allemands, soumet des modèles vocaux à deux tâches (transcription mot à mot du dialecte et traduction en allemand standard) et permet d’examiner chaque transcription avec les différences mot à mot. Il prend en charge plusieurs stratégies de prompting, des ensembles, des scores pondérés selon le nombre de locuteurs de chaque dialecte et l’export de chaque exécution enregistrée.

Voir sur GitHub

Mon rôle: Créateur et développeur
Début: août 2026
Mise à jour: 25 sept. 2026
Visibilité: Open source

extraits SwissDial, 25 par dialecte: 200
dialectes suisses allemands comparés: 8
meilleure correspondance de mots appariée (Realtime 2.1, allemand standard): 68,6 %

Configuration du benchmark dans le Swiss German Speech Lab — Configuration du benchmark : choix de la tâche, de la stratégie de prompting, des dialectes, des énoncés et des modèles à comparer.

Problème

Les modèles vocaux sont généralement évalués sur des langues standard. Pour le suisse allemand, les équipes disposent de peu d’éléments pour savoir quel modèle et quelle stratégie de prompting fonctionnent vraiment, dialecte par dialecte.

Solution

Un benchmark reproductible avec des échantillons équilibrés par dialecte, plusieurs tâches et stratégies, des comparaisons appariées et une interface pour examiner chaque erreur plutôt que de se fier à un seul chiffre.

Architecture

Une API locale et un tableau de bord pilotent les exécutions des modèles sur une sélection d’extraits SwissDial, diffusent les résultats, enregistrent chaque transcription et chaque mesure de temps dans une base locale, et calculent des indicateurs appariés pour ne comparer les modèles que sur les extraits que tous deux ont traités avec succès.

Ce que j’en retiens

Un chiffre unique cache beaucoup de choses. Les résultats par dialecte, les comparaisons appariées et la possibilité de lire chaque erreur ont davantage modifié mes conclusions que n’importe quel score global.

Technologies

Python
Microsoft Foundry
OpenAI Realtime
SwissDial
WER / CER / chrF
React

#speech-ai #evaluation #swiss-german #benchmarks

Plus de captures d’écran

Comparaison enregistrée de modèles sur 200 énoncés — Une comparaison enregistrée sur 200 extraits entre Realtime 2 et Realtime 2.1, avec des barres par modèle et par dialecte.

Résultats des modèles regroupés par dialecte — Résultats regroupés par dialecte et classés selon le nombre de locuteurs.

Tableau de résultats consultable avec les différences mot à mot — Chaque transcription peut être examinée avec les différences entre la référence et la sortie, triée par correspondance de mots la plus faible.