ToolBlur Research · Corpus v1.0.0
منهجية توحيد النص العربي
مجموعة مرجعية مفتوحة توضح بالضبط ما الذي تغيره كل قاعدة، وما الذي لا ينبغي اعتباره تصحيحاً لغوياً.
النطاق والهدف
تهدف القواعد إلى إنشاء نسخة عمل للبحث والمطابقة وإزالة التكرار. لا تصحح النحو أو الإملاء، ولا تختار الكلمة الصحيحة من السياق، ولا تستبدل النص الأصلي. كل تحويل حتمي: المدخلات والإعدادات نفسها تنتج النتيجة نفسها داخل المتصفح.
مستويان للتوحيد
محافظ — الافتراضي
يحذف التشكيل والتطويل، ويوحد الألف، ويحوّل الأرقام وينظف المسافات. يناسب البحث العام مع ضرورة الاحتفاظ بالأصل.
واسع — اختياري
يضيف تحويل ى والهمزات المحمولة. يرفع التطابق لكنه قد يخفي فروقاً إملائية ودلالية، لذلك لا يناسب النسخ المخصصة للنشر.
أمثلة قابلة لإعادة الاختبار
| المدخل | المتوقع | القاعدة |
|---|---|---|
| اللُّغَةُ العَرَبِيَّةُ | اللغة العربية | Remove diacritics |
| العــربية | العربية | Remove tatweel |
| إلى أحمد وآمال | الي احمد وامال | Normalize Alef |
| فتى | فتي | Optional: Alef Maqsura → Ya |
| عام ٢٠٢٦ | عام 2026 | Arabic-Indic digits → ASCII |
حدود مهمة
- لا تستعمل النسخة المنزوعة التشكيل بديلاً عن نص قرآني أو تعليمي موثوق.
- التوحيد الواسع قد يدمج كلمات مختلفة في صيغة واحدة.
- لا تتضمن النسخة 1.0 تحويل الحروف الفارسية أو الأردية تلقائياً.
- يعتمد تقسيم الكلمات على المسافات ولا يجري تحليلاً صرفياً.
- يجب اختبار القواعد على عينة حقيقية قبل معالجة مجموعة بيانات كاملة.
الترخيص والاستشهاد
مجموعة الحالات متاحة بترخيص CC BY 4.0. عند إعادة استعمالها اذكر: ToolBlur Arabic Text Normalization Test Corpus، الإصدار 1.0.0، مع رابط هذه الصفحة.