Calculateur de divergence de Kullback-Leibler

Saisissez deux tableaux de même longueur dont les probabilités totalisent un pour obtenir la divergence orientée en nats. Le calcul déterministe emploie le logarithme naturel et traite correctement les zéros de la première distribution. Il contrôle aussi les données et signale les longueurs différentes, sommes incorrectes, valeurs négatives et probabilités de référence nulles au lieu de produire un résultat infini ou indéfini trompeur.

Comprendre ce que mesure la divergence KL

La divergence de Kullback-Leibler compare une distribution P à une référence Q grâce au rapport logarithmique de leurs probabilités correspondantes. Elle répond à une question orientée : quelle information perd-on lorsque Q représente des résultats qui suivent en réalité P ? Un résultat nul signifie que les distributions coïncident à chaque position ; une valeur positive plus élevée révèle un écart supérieur. L’ordre compte, car permuter P et Q modifie généralement la réponse. Ce calculateur fournit D(P || Q) : le premier tableau est la distribution évaluée et le second la référence. Il utilise le logarithme naturel, donc l’unité est le nat et non le bit. La divergence KL n’est pas une distance métrique : elle est asymétrique et ne respecte pas l’inégalité triangulaire. Ces propriétés conviennent à la théorie de l’information, à l’inférence statistique et à l’ajustement de modèles.

Préparer des tableaux de probabilités valides

Saisissez autant de probabilités dans chaque tableau et conservez le même ordre des catégories. Si la première position désigne la pluie dans P, elle doit aussi désigner la pluie dans Q. Chaque valeur doit être finie et non négative, et chaque tableau complet doit totaliser un. Une très faible tolérance tient compte des nombres à virgule flottante, mais les pondérations arbitraires ne sont pas normalisées. Normalisez donc les effectifs ou scores au préalable. Un zéro dans P est permis, car un événement impossible apporte zéro à la somme. Tout zéro dans la référence est refusé : il rend le rapport logarithmique indisponible lorsque la valeur correspondante de P est positive et peut produire une divergence infinie. Cette validation détecte aussi les catégories décalées, tableaux tronqués, pourcentages entiers et ensembles d’étiquettes incompatibles.

Interpréter et exploiter le résultat avec discernement

La réponse contient la divergence et l’unité nats. Une valeur proche de zéro indique que Q représente bien P, mais aucun seuil universel ne sépare un bon modèle d’un mauvais. La portée du résultat dépend du nombre de catégories, de l’application, de l’échantillonnage et du coût des erreurs. Comparez des calculs ayant les mêmes catégories et la même orientation. Vous pouvez suivre les versions d’un modèle, confronter une distribution récente à une référence approuvée ou publier cette mesure avec d’autres indicateurs et estimations d’incertitude. Ne l’interprétez ni comme une probabilité, ni comme un pourcentage, une corrélation ou une distance symétrique. Le bruit d’échantillonnage peut créer un écart entre deux échantillons du même processus. Le navigateur convient aux contrôles ponctuels ; une requête API coûte $0.002 et facilite l’automatisation. Des entrées valides identiques donnent toujours le même JSON arrondi.