Calculateur du rapport type-token et diversité lexicale

Collez un texte, une transcription, une dissertation ou tout autre contenu pour obtenir les décomptes détaillés et un rapport reproductible compris entre zéro et un. Le calcul est déterministe, prend en charge les mots et nombres Unicode, conserve les apostrophes internes et peut regrouper ou distinguer les mots qui ne diffèrent que par leur casse.

Comprendre ce que mesure le rapport

Le rapport type-token, souvent abrégé en TTR, compare la variété du vocabulaire à la longueur du texte. Un token correspond à chaque occurrence d’un mot dans le passage, tandis qu’un type désigne une forme de mot distincte. Dans la phrase « les oiseaux chantent et les oiseaux volent », on compte six tokens, mais cinq types, car « oiseaux » apparaît deux fois. La division des types par les tokens donne un score supérieur à zéro et inférieur ou égal à un. Un score de un signifie que chaque token est unique ; une valeur plus faible révèle davantage de répétitions. Cette lecture simple facilite une première analyse de textes, de transcriptions, de productions d’apprenants et de collections éditoriales. Le rapport reste toutefois descriptif et ne juge pas la qualité. La répétition peut être volontaire, nécessaire ou souhaitable, notamment dans des consignes techniques et des explications ciblées. Examinez les nombres de tokens et de types avec le rapport afin d’en comprendre précisément l’origine, sans réduire le style ou les compétences à une seule valeur décimale.

Comparer les textes sur une base équitable

La longueur du texte influence fortement le rapport type-token élémentaire. Les passages courts offrent moins d’occasions de répéter les mots et obtiennent donc souvent des scores supérieurs aux passages longs, même lorsque l’auteur ou le sujet est identique. Pour effectuer une comparaison pertinente, choisissez des échantillons proches par la longueur, le genre, la langue et la préparation. Comparez, par exemple, deux dissertations de cinq cents mots plutôt qu’un bref message avec un rapport complet. Ce calculateur reconnaît comme tokens les suites de lettres ou de chiffres Unicode et conserve les apostrophes droites ou typographiques internes, afin que les contractions restent un seul token. La ponctuation extérieure ne crée pas un autre type. Par défaut, la casse est neutralisée : « Livre » et « livre » comptent comme un même type. Activez la sensibilité à la casse uniquement si cette distinction est pertinente. Conservez les mêmes réglages, notez le total de tokens et interprétez prudemment les petits écarts, surtout pour des passages courts ou portant sur des sujets différents.

Intégrer le résultat dans un processus reproductible

Un processus fiable commence par un échantillon clairement délimité. Décidez avant l’envoi si les titres, citations, noms de locuteurs, nombres et textes répétitifs doivent faire partie de l’analyse. Supprimer ces éléments d’un échantillon tout en les conservant dans un autre modifie à la fois le numérateur et le dénominateur. Analysez chaque passage préparé avec le même réglage de casse, puis conservez les quatre champs renvoyés : total des tokens, types distincts, rapport type-token et règle de casse appliquée. Le résultat devient ainsi vérifiable et reproductible. La version dans le navigateur convient aux contrôles ponctuels ; l’API s’intègre aux traitements par lots, tableaux de bord éditoriaux, outils pédagogiques et préparations de recherche. Le calcul est déterministe et n’envoie aucun texte à un modèle d’IA : une entrée et des options identiques produisent la même sortie. Si vous ne pouvez pas harmoniser les longueurs, signalez cette limite ou ajoutez une mesure corrigée. Interprétez surtout le score dans son contexte : un rapport faible peut provenir d’une terminologie nécessaire, d’un sujet cohérent, de citations ou de dialogues répétés, et non d’un vocabulaire pauvre.