المدوّنات المفتوحة للدارجة — ماذا تغطّي وماذا تترك مفتوحًا
توجد مدوّنات متاحة مجانًا للعربية في شمال أفريقيا، وهي مفيدة فعلًا. ونحن أنفسنا نشتغل عليها: رصيدنا للوسم البالغ 2,028,674 جملة مجمّع من مدوّنات عمومية بترخيص مفتوح. تتناول هذه الصفحة الأسئلة التي تجيب عنها تلك المدوّنات وتلك التي تتركها معلّقة — لتقرّروا أيّ جزء من مشكلتكم يحتاج إنتاجًا مأجورًا وأيّ جزء لا يحتاجه.
ما يحويه المشهد المفتوح
للدارجة التونسية والمغربية وللأمازيغية توجد مجموعات ترجمة من مشاريع مجتمعية، ومجموعات مجموعة من الشبكات الاجتماعية، ومدوّنات كلام مقروء من مشاريع تطوّعية، وإصدارات بحثية من مختبرات تشتغل على لغات المغرب العربي. ورصيدنا للوسم يستند إلى darijaBridge ومجموعات الدارجة التونسية وأزواج الفصحى-الدارجة ومادة قبائلية من Tatoeba.
لكل منها ترخيصها الخاص وقصّة موافقتها الخاصة، وهما يختلفان بين المدوّنات أكثر بكثير مما تختلف صيغ الملفات. ويجدر قراءة الاثنين قبل التدريب — لا بعده حين يسأل الزبون.
ستة أسئلة تُطرح على أي مدوّنة
تنطبق على مادتنا كما تنطبق على مادة أي جهة أخرى. ومن لا يستطيع الإجابة عنها كتابةً، فالجواب لا.
- 01هل تستطيعون بيان مصدر كل عبارة؟
هل يوجد سجلّ لمن أنتجها ومتى وبأي اتفاق؟ المجموعة المجمّعة من منشورات عامة لا تستطيع عادةً الإجابة، لأن من كتبوا تلك المنشورات لم يُسألوا قط.
كل تسجيل يحمل موافقة مسجّلة بختم زمني من مساهم مسجّل ومأجور. ويرافق السجلّ التسليم، وهو مبني ليصمد أمام التدقيق.
- 02هل تعرفون المتحدّث والمنطقة؟
من دون بيانات المنطقة والمتحدّث لا يمكن موازنة مجموعة تدريب ولا الإبلاغ عن الدقة حسب اللهجة. فالنموذج الذي ينجح في تونس ويفشل في قفصة يبدو مطابقًا لنموذج ينجح في كل مكان.
كل سجل يحمل منطقة إنتاجه، مقابَلةً بالموقع المسجّل للمساهم، إضافةً إلى فئة المتحدّث. 24 منطقة مرسومة في تونس، و21 منطقة لهجية في أربع دول.
- 03هل النسخ المكتوب بشري أم آلي؟
بعض المجموعات تحتوي نسخًا آليًا، أحيانًا من دون الإفصاح. والتدريب على مُخرَج نظام تعرّف على الكلام يعلّم نموذجكم أخطاء ذلك النظام بعينها.
كل نسخ مكتوب من إنتاج إنسان أو تصحيحه. وحيث وُجدت مسوّدة آلية، يُسجَّل التصحيح نفسه — وهذا الفارق هو إشارة التدريب التي تدفعون ثمنها فعليًا.
- 04هل الصوت والنص من الشخص نفسه واللحظة نفسها؟
المدوّنات النصية وحدها لا تدرّب تعرّفًا على الكلام ولا تخليقًا صوتيًا. والنص المقرون بالصوت لاحقًا يحمل أخطاء محاذاة لن تكتشفوها إلا عند التقييم.
الصوت والنسخ المكتوب من جلسة واحدة ومساهم واحد. وفي النقل الحرفي يأتي الخطّان من المتحدّث نفسه والعبارة نفسها — لا نصّين قُرنا لاحقًا.
- 05هل تحصلون على المزيد ممّا تحتاجونه بالضبط؟
المدوّنة المنشورة ثابتة. فإن خلت من مجالكم — شكاوى مراكز الاتصال، الاستقبال الطبي، مفردات البنوك، منطقة بعينها — بقيت تلك الثغرة ثغرة مهما بلغ حجم البيانات.
يُخطَّط الجمع وفق مواصفاتكم: المجالات والمناطق وتوزيع المتحدّثين والحجم. تتوفّر اليوم 6,347 قالب تسجيل ضمن 194 موضوعًا فرعيًا، وتُكتب قوالب جديدة عند الطلب.
- 06هل يغطّي الترخيص استخدامكم المقصود؟
«المفتوح» يمتدّ من الملكية العامة إلى البحث الأكاديمي فقط. تحقّقوا هل يُسمح بالتدريب التجاري، وهل تُشترط نسبة المصدر، وهل تبقى الشروط سارية بعد بيع النموذج المدرَّب.
شروط تجارية وتقييمية وعلامة بيضاء، يُتفق عليها لكل مشروع، كتابةً، بمرخِّص مُسمّى يمكنكم إحالة المدقّق إليه.
متى تكون المدوّنات المفتوحة الخيار الأفضل
نفضّل ألّا تنفقوا شيئًا على أن تنفقوا في المكان الخطأ. وثمّة حالات لا يكون فيها الإنتاج المأجور هو الجواب:
- دراسات الجدوى وخطوط الأساس الأولى، حيث أي بيانات لهجية خير من لا شيء، والغاية معرفة هل المشكلة قابلة للحل أصلًا.
- الأعمال الأكاديمية التي تنشر نتائجها وتستطيع الاستشهاد بالمصدر — فقابلية إعادة الإنتاج هناك أثقل وزنًا من إثبات المصدر.
- المهام التي يهمّ فيها الحجم أكثر من الدقة، كتحديد اللغة أو الفرز الموضوعي الخشن.
- كل ما لا ميزانية له. الإنتاج المأجور يستحق كلفته حين يتعيّن على النتيجة أن تصمد أمام زبون، لا قبل ذلك.
المدوّنات المفتوحة تخبركم هل المشكلة قابلة للحل. ونادرًا ما تخبركم هل حلّكم قابل للدفاع عنه.
إن كان زبون أو مدقّق أو جهة تنظيمية سيسأل من أين جاءت بيانات تدريبكم، فهذا السؤال يجب أن يكون قابلًا للإجابة قبل التدريب لا بعده. وهذا بالضبط ما نبيعه — والتسجيلات هي الشكل الذي يُسلَّم به.
أخبرونا بما تريدون تدريبه.
حدّدوا اللغة والمجال والحجم، ونوافيكم بالتوفر وعيّنة بيانات وعرض سعر. ويبدأ جمع البيانات عند الطلب عادةً في غضون أسابيع.