Corpus derja et darija ouverts — ce qu'ils couvrent et ce qu'ils laissent ouvert
Des corpus librement accessibles pour l'arabe nord-africain existent, et ils sont réellement utiles. Nous travaillons nous-mêmes dessus : notre fonds d'annotation de 2 028 674 phrases est constitué à partir de corpus publics sous licence ouverte. Cette page traite des questions auxquelles ils répondent et de celles qu'ils laissent en suspens — afin que vous décidiez quelle part de votre problème nécessite une production rémunérée et quelle part non.
Ce que contient le paysage ouvert
Pour le derja, la darija et le tamazight, il existe des ensembles de traduction communautaires, des collections issues des réseaux sociaux, des corpus de parole lue provenant de projets bénévoles et des publications de laboratoires travaillant sur les langues du Maghreb. Notre propre fonds d'annotation s'appuie sur darijaBridge, des collections de derja tunisien, des paires MSA-darija et du matériau kabyle issu de Tatoeba.
Chacun arrive avec sa licence et son histoire de consentement propres, et celles-ci diffèrent bien plus d'un corpus à l'autre que les formats de fichiers. Les deux méritent d'être lues avant d'entraîner — pas après, lorsqu'un client pose la question.
Six questions à poser à tout corpus
Elles valent pour notre matériau autant que pour celui de n'importe qui. Si un fournisseur ne peut pas y répondre par écrit, la réponse est non.
- 01Pouvez-vous montrer d'où vient chaque énoncé ?
Existe-t-il une trace de qui l'a produit, quand et sous quel accord ? Une collection assemblée à partir de publications publiques ne peut généralement pas y répondre, car les personnes qui les ont écrites n'ont jamais été sollicitées.
Chaque enregistrement porte un consentement horodaté d'un contributeur inscrit et rémunéré. La trace accompagne la livraison et est conçue pour résister à un audit.
- 02Connaissez-vous le locuteur et la région ?
Sans métadonnées régionales et de locuteur, impossible d'équilibrer un jeu d'entraînement ni de rapporter la précision par dialecte. Un modèle qui fonctionne à Tunis et échoue à Gafsa est indiscernable d'un modèle qui fonctionne partout.
Chaque enregistrement porte sa région de production, recoupée avec la localisation déclarée du contributeur, ainsi que la tranche de locuteur. 24 régions cartographiées en Tunisie, 21 zones dialectales dans quatre pays.
- 03La transcription est-elle humaine ou automatique ?
Certaines collections contiennent de la transcription automatique, parfois sans le dire. S'entraîner sur la sortie d'un système de reconnaissance vocale, c'est enseigner à son modèle les erreurs de ce système.
Chaque transcription est produite ou corrigée par un humain. Lorsqu'un brouillon machine existait, la correction elle-même est consignée — cet écart est le signal d'entraînement que vous payez réellement.
- 04L'audio et le texte proviennent-ils de la même personne, au même moment ?
Les corpus purement textuels ne peuvent entraîner ni la reconnaissance ni la synthèse vocale. Un texte apparié à l'audio après coup comporte des erreurs d'alignement que vous ne découvrirez qu'à l'évaluation.
Audio et transcription proviennent d'une même session et d'un même contributeur. Pour la translittération, les deux graphies viennent du même locuteur et du même énoncé — pas de deux textes appariés ensuite.
- 05Pouvez-vous obtenir davantage de ce dont vous avez précisément besoin ?
Un corpus publié est figé. S'il ne couvre pas votre domaine — réclamations en centre d'appels, admission médicale, vocabulaire bancaire, une région précise —, cette lacune reste une lacune, quel que soit le volume disponible.
La collecte est planifiée selon votre cahier des charges : domaines, régions, répartition des locuteurs, volume. 6 347 consignes d'enregistrement réparties sur 194 sous-thèmes existent aujourd'hui, et de nouvelles sont rédigées sur commande.
- 06La licence couvre-t-elle votre usage prévu ?
« Ouvert » va du domaine public au strictement académique. Vérifiez si l'entraînement commercial est permis, si l'attribution est exigée, et si ces conditions tiennent encore lorsque le modèle entraîné est mis en vente.
Conditions commerciales, d'évaluation et de marque blanche, convenues par projet, par écrit, avec un concédant nommé vers lequel vous pouvez orienter un auditeur.
Quand les corpus ouverts sont le meilleur choix
Nous préférons que vous ne dépensiez rien plutôt qu'au mauvais endroit. Il existe des cas où la production rémunérée n'est pas la réponse :
- Études de faisabilité et premières lignes de base, où n'importe quelle donnée dialectale vaut mieux que rien et où l'enjeu est de savoir si le problème est soluble.
- Travaux académiques qui publient leurs résultats et peuvent citer la source — la reproductibilité y pèse plus lourd que la provenance.
- Les tâches où le volume compte plus que la précision, comme l'identification de langue ou le tri thématique grossier.
- Tout ce qui n'a pas de budget. La production rémunérée justifie son coût dès lors que le résultat doit tenir devant un client, pas avant.
Les corpus ouverts vous disent si le problème est soluble. Ils vous disent rarement si votre solution est défendable.
Si un client, un auditeur ou un régulateur demande d'où viennent vos données d'entraînement, cette question doit trouver réponse avant l'entraînement, pas après. C'est précisément ce que nous vendons — les enregistrements en sont la forme de livraison.
Dites-nous ce que vous souhaitez entraîner.
Langue, domaine, volume : nous vous répondons avec la disponibilité, un jeu d'échantillons et un devis. Une collecte sur mesure démarre en général en quelques semaines.