إزالة علامات التشكيل من نص يونيكود

تصلح النتيجة عندما يحتاج فهرس بحث أو معرّف أو اسم ملف أو مسار URL مختصر إلى صيغة لا تميز بين الحروف بحسب العلامات، من دون تطبيق نقل صوتي واسع أو قواعد إملائية خاصة بلغة معينة. المعالجة حتمية ومحصورة في الطلب، وتعيد قيمة نصية بسيطة يمكنكم نسخها أو تمريرها مباشرة إلى مرحلة تطبيع أخرى.

ما الذي ينفذه هذا التحويل؟

يتيح Unicode تمثيل كثير من الحروف ذات العلامات بأكثر من طريقة. فقد يُخزَّن حرف مثل é كنقطة ترميز واحدة مركبة مسبقًا، أو على هيئة الحرف الأساسي e متبوعًا بعلامة نبرة حادة مركبة. لا تكشف المقارنة البصرية وحدها أي التمثيلين موجود. تطبق هذه القدرة أولًا التفكيك القانوني في Unicode، المعروف عادة باسم NFD، لكي تعبّر عن الحروف القابلة للتفكيك القانوني بحروف أساسية تتبعها علاماتها. ثم تزيل المحارف التابعة لجميع فئات العلامات في Unicode. وبذلك تصبح أمثلة مثل café وpiñata وÅngström على صورة cafe وpinata وAngstrom. لا تحوّل الأداة النص إلى أحرف صغيرة، ولا تدمج المسافات، ولا تحذف علامات الترقيم، ولا تستبدل الرموز. كما أنها لا تَعِد بنقل كامل إلى ASCII؛ فالحروف التي لا تملك تفكيكًا قانونيًا، مثل ł، تبقى كما هي. هذا النطاق المحدد مقصود، إذ يمنحكم عملية تطبيع متوقعة يمكن دمجها مع قواعد مستقلة لحالة الأحرف أو الترقيم أو تنسيق المسارات المختصرة، من غير إخفاء تحويلات إضافية داخل عملية واحدة.

إنشاء مفاتيح بحث ومسارات مختصرة ثابتة

يعمل البحث الذي لا يميز العلامات على نحو أفضل غالبًا عند حفظ القيمة الأصلية ومفتاح مطبّع بصورة منفصلة. احتفظوا بالتهجئة الأصلية للعرض، ثم مرروا النص إلى هذه القدرة لإنتاج حقل للمقارنة. ويمكن تطبيق المعالجة نفسها على عبارة البحث قبل المطابقة، بحيث يجد من يكتب cafe الكلمة café مع بقاء التسمية الصحيحة بعلاماتها في النتائج. تستطيع سلاسل إنشاء المسارات المختصرة استعمال الناتج في مرحلة مبكرة: أزيلوا العلامات أولًا، ثم حوّلوا الأحرف إلى الحالة المطلوبة، واستبدلوا المسافات، وطبقوا سياسة الترقيم الخاصة بالمشروع. ترتيب الخطوات مهم لأن التفكيك يكشف العلامات التي كانت ستظل ملتصقة بالحروف المركبة مسبقًا. العملية حتمية؛ لذلك ينتج الإدخال نفسه في Unicode المخرج نفسه دائمًا، ويمكن استعماله بأمان في مفاتيح التخزين المؤقت أو في إعداد بيانات قابل للتكرار. غير أن التطبيع لا يحل محل الترتيب والمقارنة المراعيين للغة. تختلف اللغات في اعتبار الحروف ذات العلامات أشكالًا للحرف نفسه أو حروفًا مستقلة؛ لذا احتفظوا بالنص الأصلي واختاروا المطابقة من دون علامات فقط عندما تناسب المنتج ومستخدميه.

الحدود وأنظمة الكتابة وطرق التحقق

تشمل قاعدة الإزالة العلامات المركبة في Unicode كله، ولا تقتصر على نطاق العلامات المألوف في لغات أوروبا الغربية. يمنح ذلك اتساقًا تقنيًا، لكنه قد يُحدث أثرًا كبيرًا في أنظمة كتابة تحمل فيها العلامات معلومات أساسية. اختبروا محتوى ممثلًا لكل لغة يقبلها تطبيقكم قبل استخدام النتيجة في البحث أو التوجيه أو حقول الهوية. وقد تُحذف أيضًا محددات تنوع الرموز التعبيرية ومحارف أخرى مصنفة ضمن العلامات، ولذلك ينبغي التعامل مع الناتج كمفتاح مطبّع لا كنسخة مثالية للعرض. يختلف التفكيك القانوني عمدًا عن تفكيك التوافق؛ فلا تُبسّط الأشكال الزخرفية أو التوافقية بصورة عامة، ولا تدّعي الأداة أنها ناقل صوتي شامل. للتحقق، قارنوا بين الصيغة المركبة مسبقًا والصيغة المفككة للعينة نفسها، وتأكدوا من تطابق النتيجتين. وأدرجوا في الاختبارات علامات الترقيم والنصوص غير اللاتينية والرموز التعبيرية والحروف التي لا تملك تفكيكًا. تكشف هذه الحالات ما إذا كانت العملية المحددة كافية، أم أن سلسلة المعالجة تحتاج إلى مراحل تطبيع إضافية تختارونها بوضوح.