مقارنة تشابه النصوص بنسبة تداخل الشينغل

تحددون عدد الكلمات في كل تسلسل، فتحصلون على معامل Jaccard حتمي مع الأعداد التي استُخدمت في الحساب. تزيل المعالجة فروق حالة الأحرف وعلامات الترقيم مع الحفاظ على هوية الكلمات وترتيبها. تساعد النتيجة الكتّاب والطلاب والمحررين على اكتشاف العبارات المعاد استخدامها، ومقارنة المراجعات، وترتيب أولوية القراءة الدقيقة. إنها تقدير للتشابه النصي، وليست دليلاً على الانتحال أو التأليف أو القصد أو المخالفة.

فهم ما تقيسه النسبة المئوية

الشينغل هو تسلسل من كلمات متجاورة. عندما يكون الحجم ثلاثة، تُفحص الكلمات من الأولى إلى الثالثة، ثم من الثانية إلى الرابعة، ويستمر التحريك كلمة واحدة حتى نهاية النص. تنشئ الأداة مجموعة من التسلسلات الفريدة لكل نص، وتحسب ما يوجد في المجموعتين معاً، ثم تقسم هذا التقاطع على اتحاد جميع التسلسلات الفريدة وتضرب الناتج في مئة. هذا هو تشابه Jaccard. تعني نتيجة مئة أن المجموعتين بعد التوحيد متطابقتان، بينما يعني الصفر عدم وجود أي عنصر مشترك. تُهمل حالة الأحرف وعلامات الترقيم لأنها نادراً ما تمثل فرقاً نصياً جوهرياً، لكن الكلمات وترتيبها الموضعي يبقيان محفوظين. ولا تُحسب العبارة المكررة إلا مرة واحدة، لذلك لا يمكن للتكرار أن يرفع النتيجة بصورة مصطنعة. تعاملوا مع النسبة بوصفها قياساً محدداً للعبارات المتطابقة، لا حكماً كاملاً على الأصالة. قد يعبّر نصان عن الفكرة نفسها بصياغتين مختلفتين فيسجلان قيمة منخفضة، وقد تولّد الاقتباسات المشروعة والإشعارات القياسية والمصطلحات الفنية وتعليمات التكليف تداخلاً من دون مخالفة. يظل السياق والفحص البشري ضروريين كلما أمكن أن تؤثر النتيجة في شخص ما.

اختيار حجم مناسب للتسلسل

يحدد الحجم مقدار التطابق الحرفي المطلوب. تلتقط التسلسلات الصغيرة العبارات المشتركة القصيرة، وغالباً ما تنتج تداخلاً أكبر. يفيد ذلك عند مقارنة المسودات القصيرة أو البحث عن تعديلات بسيطة، لكن العبارات اليومية قد تتطابق مصادفة. أما التسلسلات الكبيرة فتتطلب سلاسل أطول من الكلمات بالترتيب نفسه. وهي أكثر تحديداً وتقلل التطابق العرضي، إلا أن إضافة كلمة واحدة أو استبدالها قد يكسر عدة تسلسلات مجاورة ويخفض النسبة كثيراً. يمثل نطاق من ثلاث إلى خمس كلمات نقطة استكشاف عملية للنثر غالباً، لكن لا يوجد إعداد شامل يثبت النسخ. اختاروا الحجم وفق المادة، وسجلوه، وحافظوا عليه ثابتاً عند مقارنة أزواج متعددة. لا تصلح النتائج التي استُخدمت لها أحجام مختلفة للمقارنة المباشرة. يجب أن يحتوي كل نص على عدد من الكلمات الموحّدة يساوي الحجم المختار على الأقل. إذا كان أحد النصين أقصر، تعيد الأداة خطأ إدخال لأن إنشاء مجموعة صالحة غير ممكن. هذا الإخفاق الصريح أكثر أماناً من إعادة صفر قد يوحي خطأ بأن مقطعين أقصر من اللازم فُحصا وتبيّن أنهما مختلفان.

استخدام النتيجة بمسؤولية

ابدؤوا بسؤال تستطيع النتيجة الإجابة عنه فعلاً، مثل معرفة ما إذا كانت المراجعة تحتفظ بعبارات دقيقة من مسودة سابقة، أو تحديد أزواج الوثائق التي تستحق الفحص اليدوي أولاً. أرسلوا النصين، وسجلوا الحجم، واحتفظوا بعددي التقاطع والاتحاد مع النسبة عندما تكون قابلية إعادة الإنتاج مهمة. إذا كانت القيمة مرتفعة، افحصوا سياق العبارات المشتركة قبل الاستنتاج. قد تتكرر التعريفات والاقتباسات والمراجع والقوالب والصياغات القانونية والتعليمات الإلزامية بصورة مشروعة. وإذا كانت منخفضة، فلا تفترضوا الاستقلال؛ فقد لا تحتفظ إعادة الصياغة والترجمة ومحاكاة البنية والأفكار المشتركة بعدد كافٍ من الكلمات المتجاورة. لا تزحف الأداة إلى عناوين URL، ولا تبحث في قاعدة خفية، ولا تعثر على المصدر الأصلي، ولا تحدد أي نسخة سبقت الأخرى، ولا تقيّم قواعد الاقتباس. كما أنها لا تستنتج القصد. في التعليم والنشر والتوظيف والامتثال، استخدموها إشارة فرز تتبعها مراجعة بشرية موثقة، ولا تجعلوها الأساس الوحيد لاتهام أو عقوبة. وفي المسارات الآلية، طبقوا إعدادات ومعالجة متسقة، ثم أحيلوا الأزواج غير المعتادة أو شديدة التشابه إلى شخص يستطيع تقييم المصدر والأذونات والاقتباسات والسياسة المنطبقة.