Offene Derja- und Darija-Korpora — was sie abdecken und was sie offenlassen
Frei verfügbare Korpora für nordafrikanisches Arabisch gibt es, und sie sind wirklich brauchbar. Wir arbeiten selbst darauf: Unser Annotationsvorrat von 2.028.674 Sätzen ist aus offen lizenzierten öffentlichen Korpora zusammengestellt. Auf dieser Seite geht es darum, welche Fragen sie beantworten und welche nicht — damit Sie entscheiden können, welcher Teil Ihres Problems bezahlte Produktion braucht und welcher nicht.
Was die offene Landschaft hergibt
Für Derja, Darija und Tamazight gibt es Übersetzungssammlungen aus Gemeinschaftsprojekten, aus sozialen Netzen gesammelte Bestände, vorgelesene Sprachkorpora aus Freiwilligenprojekten und Forschungsveröffentlichungen von Instituten, die an Maghreb-Sprachen arbeiten. Unser eigener Annotationsvorrat stützt sich auf darijaBridge, tunesische Derja-Sammlungen, MSA-Darija-Paare und Kabylisch aus Tatoeba-Material.
Jedes davon kommt mit seiner eigenen Lizenz und seiner eigenen Einwilligungsgeschichte, und die unterscheiden sich zwischen den Korpora weit stärker als die Dateiformate. Beides lohnt sich zu lesen, bevor Sie trainieren — nicht danach, wenn ein Kunde fragt.
Sechs Fragen, die man jedem Korpus stellen muss
Sie gelten für unser Material genauso wie für jedes andere. Wer sie nicht schriftlich beantworten kann, ist keine Antwort wert.
- 01Können Sie zeigen, woher jede Äußerung stammt?
Gibt es einen Nachweis, wer sie erzeugt hat, wann und unter welcher Vereinbarung? Ein Bestand aus öffentlichen Beiträgen kann das meist nicht beantworten, weil die Verfasser nie gefragt wurden.
Jede Aufnahme trägt eine mit Zeitstempel protokollierte Einwilligung eines registrierten, bezahlten Contributors. Der Nachweis geht mit der Lieferung mit und ist auf eine Prüfung hin gebaut.
- 02Kennen Sie Sprecher und Region?
Ohne Regions- und Sprecherangaben lässt sich kein Trainingsdatensatz ausbalancieren und keine Genauigkeit je Dialekt berichten. Ein Modell, das in Tunis funktioniert und in Gafsa versagt, sieht genauso aus wie eines, das überall funktioniert.
Jeder Datensatz trägt die Region seiner Entstehung, abgeglichen mit dem hinterlegten Standort des Contributors, dazu das Sprecherband. 24 kartierte Regionen in Tunesien, 21 Dialektzonen in vier Ländern.
- 03Ist die Transkription menschlich oder maschinell?
Manche Bestände enthalten maschinelle Transkription, gelegentlich ohne es zu sagen. Wer auf der Ausgabe einer Spracherkennung trainiert, lehrt sein Modell die Fehler genau jener Erkennung.
Jede Transkription ist von einem Menschen erstellt oder korrigiert. Wo ein Maschinenentwurf vorlag, wird die Korrektur selbst festgehalten — dieser Unterschied ist das Trainingssignal, für das Sie eigentlich zahlen.
- 04Gehören Audio und Text zur selben Person und zum selben Moment?
Reine Textkorpora können weder Spracherkennung noch Sprachsynthese trainieren. Nachträglich zugeordneter Text bringt Ausrichtungsfehler mit, die Sie erst in der Auswertung finden.
Audio und Transkription stammen aus einer Sitzung und von einem Contributor. Bei der Transliteration kommen beide Schriften von derselben Stimme und demselben Satz — nicht zwei nachträglich gepaarte Texte.
- 05Bekommen Sie mehr von genau dem, was Sie brauchen?
Ein veröffentlichtes Korpus ist fest. Fehlt Ihre Domäne — Callcenter-Beschwerden, medizinische Aufnahme, Bankvokabular, eine bestimmte Region —, bleibt diese Lücke eine Lücke, egal wie viele Daten daneben liegen.
Die Erhebung wird auf Ihre Vorgabe geplant: Bereiche, Regionen, Sprecherverteilung, Umfang. 6.347 Aufnahme-Vorlagen in 194 Unterthemen liegen heute vor, neue werden auf Zuruf geschrieben.
- 06Trägt die Lizenz Ihren geplanten Einsatz?
„Offen" reicht von Gemeinfreiheit bis nur-für-Forschung. Prüfen Sie, ob kommerzielles Training erlaubt ist, ob Namensnennung verlangt wird und ob die Bedingungen noch tragen, wenn das trainierte Modell verkauft wird.
Kommerzielle, Evaluierungs- und White-Label-Bedingungen, je Projekt vereinbart, schriftlich, mit einem benannten Lizenzgeber, auf den Sie einen Prüfer verweisen können.
Wann offene Korpora die bessere Wahl sind
Uns ist lieber, Sie geben nichts aus, als an der falschen Stelle. Es gibt Fälle, in denen bezahlte Produktion nicht die Antwort ist:
- Machbarkeitsstudien und erste Grundlinien, wo irgendwelche Dialektdaten besser sind als keine und es darum geht, ob das Problem überhaupt lösbar ist.
- Wissenschaftliche Arbeiten, die ihre Ergebnisse veröffentlichen und die Quelle zitieren können — Reproduzierbarkeit wiegt dort schwerer als Herkunftsnachweis.
- Aufgaben, bei denen Menge mehr zählt als Genauigkeit, etwa Sprachidentifikation oder grobe Themensortierung.
- Alles ohne Budget. Bezahlte Produktion verdient ihren Preis, sobald das Ergebnis vor einem Kunden bestehen muss — vorher nicht.
Offene Korpora sagen Ihnen, ob das Problem lösbar ist. Ob Ihre Lösung haltbar ist, sagen sie selten.
Wenn ein Kunde, ein Prüfer oder eine Behörde fragen wird, woher Ihre Trainingsdaten stammen, muss diese Frage vor dem Training beantwortbar sein, nicht danach. Genau das verkaufen wir — die Aufnahmen sind die Form, in der es geliefert wird.
Sagen Sie uns, was Sie trainieren möchten.
Nennen Sie Sprache, Domäne und Volumen — wir antworten mit Verfügbarkeit, einem Sample-Datensatz und einem Angebot. Eine Custom Collection beginnt in der Regel innerhalb weniger Wochen.