Fausse carte d'identité > Articles > Le serbe obtient 0,0000 face à lui-même : quatre façons dont la comparaison des noms entre pays échoue

Le serbe obtient 0,0000 face à lui-même : quatre façons dont la comparaison des noms entre pays échoue

Nous conservons les noms serbes en double — une fois en cyrillique (sr_RS), une fois en alphabet latin (sr_Latn_RS). Même pays, même langue, mêmes noms, les mêmes 1 143 entrées de prénoms et 958 entrées de noms de famille, des totaux de poids identiques. L'un des fichiers est une translittération de l'autre.

Similarité mesurée entre les deux :

MétriqueScore
Jaccard des prénoms0,0000
Cosinus des prénoms0,0000
Jaccard des noms de famille0,0000
Cosinus des noms de famille0,0000
Entrées communes0

Dissimilarité parfaite entre un jeu de données et une copie de lui-même. Si une méthode de comparaison est incapable de reconnaître le serbe comme du serbe, rien de ce qu'elle dit par ailleurs du grec et du coréen ne mérite d'être lu.

Nous avons calculé chaque paire des 63 locales que contenait le corpus au moment du calcul — 1 953 comparaisons — et cet article est le catalogue des défaillances qui en est sorti. Les résultats eux-mêmes se trouvent dans Quels pays partagent des noms ? ; ceci est la partie qui explique pourquoi l'essentiel de la matrice est inutilisable et comment repérer quelle partie l'est.

Les quatre modes de défaillance, classés selon la gravité avec laquelle ils nous ont touchés :

  1. Des écritures différentes détruisent le chevauchement — la moitié de la matrice est faite de zéros qui ne veulent rien dire
  2. Des écritures communes gonflent le chevauchement — les caractères han donnent au Japon un air taïwanais
  3. Le chevauchement est directionnel — une comparaison, deux réponses correctes et contradictoires
  4. Les échelles de poids ne sont pas commensurables — 52 de nos 64 locales utilisent encore des poids relatifs pour les noms de famille

Défaillance 1 : la barrière des écritures

Sur 1 953 paires de locales, 981 ne partagent aucun prénom et 1 287 ne partagent aucun nom de famille. Entre la moitié et les deux tiers de la matrice entière sont constitués de zéros.

Presque aucun d'entre eux n'est un résultat.

Sept locales de notre ensemble sont les seules occupantes de leur système d'écriture et ne partagent donc rien avec personne : le bengali, le grec, l'hébreu, l'arménien, le géorgien, le coréen et le népalais. Chacune donne 0,0 % de chevauchement face aux 62 autres. Lu littéralement, cela signifie que les noms grecs ressemblent exactement aussi peu aux noms ukrainiens qu'aux noms japonais — ce qui est absurde, puisque la dénomination grecque et la dénomination ukrainienne partagent des siècles d'onomastique chrétienne orthodoxe et un vaste fonds des mêmes noms de saints dans des alphabets différents.

Le plus corrosif est que cette défaillance est silencieuse et asymétrique dans ses dégâts. Elle ne gonfle jamais un score, elle ne fait que l'abaisser, si bien qu'elle a l'air d'une précaution. Et un zéro est indiscernable d'un résultat réel, à moins de connaître déjà les systèmes d'écriture en jeu.

La conséquence pour la publication est directe : vous ne pouvez pas publier un classement des « paires les plus éloignées » à partir d'une comparaison brute de chaînes. Nous ne l'avons pas fait. Le classement des distances que produit notre matrice est un classement d'alphabets qui porte un classement de systèmes de dénomination comme un costume.

Le contrôle qui la détecte. Placez dans vos données une paire connue comme identique et vérifiez que votre méthode la note comme identique. Le serbe en deux écritures était la nôtre, par accident. Sans elle, nous aurions supposé que les zéros avaient un sens, parce que chaque zéro pris isolément paraissait défendable.

Des remèdes partiels, tous imparfaits. La normalisation Unicode et le repliement des diacritiques aident à l'intérieur d'une même écriture (Müller/Mueller, Yılmaz/Yilmaz). La translittération vers une écriture commune aide entre écritures apparentées, mais elle est destructrice et non réversible : le passage cyrillique ↔ latin du serbe est l'un des rares cas véritablement bijectifs, alors que le grec, l'arabe et le han ne le sont pas. Les clés phonétiques (Soundex, Metaphone) sont taillées pour l'anglais et induisent en erreur ailleurs. Nous avons choisi d'appliquer une correspondance stricte de chaînes et d'étiqueter les zéros obtenus comme inutilisables, plutôt que de faire tourner une couche de translittération et de produire en silence d'autres erreurs, plus difficiles à auditer.

Défaillance 2 : les écritures communes gonflent le chevauchement

Le problème inverse, et le plus dangereux, parce qu'il produit des chiffres impressionnants au lieu de chiffres vides.

Le corpus de noms de famille du Japon partage 339 entrées avec celui de Taïwan — couvrant 75,4 % de la masse des noms de famille japonais. Pris au pied de la lettre : le Japon et Taïwan ont aux trois quarts les mêmes noms de famille.

Ce n'est pas le cas. Voici ce que pèsent réellement ces entrées communes :

Nom de famillePart de TaïwanPart du Japon
佐藤 Satō0,0003 %2,609 %
鈴木 Suzuki0,0002 %2,426 %
高橋 Takahashi0,0002 %1,905 %
田中 Tanaka0,0001 %1,826 %
陳 Chen11,208 %absent

佐藤 figure bel et bien dans le registre de Taïwan. Le ministère de l'Intérieur de Taïwan publie sans seuil de suppression — tout nom de famille comptant au moins un porteur est listé — et Taïwan compte des résidents portant des noms de famille japonais issus de la période coloniale 1895–1945 et de naturalisations ultérieures. L'entrée est réelle. Elle représente aussi 0,0003 % de Taïwan.

Les 75,4 % sont arithmétiquement corrects et, sur le fond, sans valeur. Ils disent : la plupart des Japonais portent un nom de famille qu'au moins une personne à Taïwan porte également. C'est un énoncé sur la taille de la longue queue non tronquée de Taïwan, pas sur la dénomination japonaise et taïwanaise.

Les deux systèmes d'écriture partagent un inventaire de caractères hérité du chinois classique. Deux corpus quelconques en écriture han se chevaucheront pour cette seule raison, et des noms de famille d'un seul caractère comme 林 et 王 sont fréquents dans les deux langues indépendamment l'une de l'autre.

Le contrôle. Quand un chevauchement paraît élevé, examinez les poids des deux côtés, et non le nombre d'entrées communes. Si les noms communs pèsent lourd d'un côté et presque rien de l'autre, vous avez trouvé une coïncidence d'écriture.

Défaillance 3 : le chevauchement est directionnel

La similarité est symétrique ; le chevauchement ne l'est pas. Les confondre est l'erreur la plus fréquente dans la littérature sur la comparaison des noms, et c'est celle qui produit des phrases fausses énoncées avec assurance.

« Quelle part de la masse des noms de A est constituée de noms qui existent aussi en B » a deux réponses :

PaireA → BB → AEntrées communes
Japon → Taïwan (noms de famille)75,4 %8,4 %339
Turquie → Allemagne (noms de famille)17,1 %2,0 %24
Vietnam → Tchéquie (prénoms)18,1 %0,5 %21
Danemark → Suède (noms de famille)63,2 %18,3 %
Espagne → Portugal (noms de famille)9,2 %65,9 %
Canada-fr → Canada-en86,0 %47,5 %358
Portugal → Brésil90,3 %73,0 %198

La Turquie et l'Allemagne partagent 24 noms de famille. Dans le sens turc, ces 24 noms portent 17,1 % de la masse, parce que ce sont les noms les plus répandus de Turquie — Yılmaz, Kaya, Demir, Çelik, Yıldız, Şahin, Öztürk. Dans le sens allemand, ces mêmes 24 noms portent 2,0 %. Les deux chiffres décrivent la même réalité — les noms de famille turcs sont entrés dans les registres allemands avec une fréquence de l'ordre du pour cent après l'accord de recrutement de 1961, sans rien déplacer — et chacun d'eux pris isolément la déforme.

L'Espagne et le Portugal forment la paire où le sens renverse le résultat mis en avant. La masse des noms de famille portugais est présente à 65,9 % en Espagne ; la masse espagnole est présente à 9,2 % au Portugal. Le répertoire du Portugal est petit, concentré et en grande partie inclus dans le vivier ibérique plus vaste ; celui de l'Espagne est immense et se situe majoritairement hors du Portugal. « L'Espagne et le Portugal se ressemblent à 65,9 % » et « L'Espagne et le Portugal se ressemblent à 9,2 % » sont deux phrases également défendables issues du même calcul.

La règle. Publiez les deux sens, ou publiez une métrique symétrique. Ne présentez jamais un seul sens comme s'il était la relation.

Défaillance 4 : les poids ne sont pas commensurables d'une locale à l'autre

Nos corpus portent des poids de fréquence, et il est tentant de les comparer. Ne le faites pas.

Audit du fichier de noms de famille de chaque locale, tel que se présentait le corpus au 18 juillet 2026 :

Type d'échelleLocalesPoids maxSomme des poids
Effectifs réels de porteurs22 618 994 (zh_TW)23 367 536
Entiers relatifs 1–2556120 à 255~1 000 à ~19 000

À ce moment-là, seules zh_TW et vi_VN portaient des effectifs bruts. Les poids de Taïwan totalisent 23 367 536 — la population enregistrée de Taïwan — et 陳 pèse 2 618 994. Toutes les autres locales utilisaient une échelle relative dont le plafond variait : 20 pour l'Indonésie, 24 pour le néerlandais de Belgique, 40 pour l'Allemagne, la Tchéquie et la Pologne, 100 pour la Grande-Bretagne et le Japon, 255 pour l'Espagne, la France, la Russie et la Suède.

Dix autres corpus de noms de famille ont depuis été reconstruits à partir de registres. Recompté le 22 juillet 2026, le corpus contient 64 locales, dont 12 issues de registres et 52 encore sur des échelles relatives — la défaillance décrite ci-dessous concerne donc désormais 52 locales et non 61. Elle a diminué ; elle n'a pas disparu, et elle s'est dotée d'un second tranchant, décrit dans la note méthodologique à la fin.

Conséquences :

  • Les poids bruts n'ont aucun sens d'une locale à l'autre. Le poids 40 est le haut de l'échelle allemande et n'a rien de remarquable dans l'échelle espagnole. Tout calcul entre locales doit d'abord normaliser — nous utilisons une normalisation L1, de sorte que chaque corpus totalise 1 avant toute comparaison.
  • La normalisation supprime l'échelle, mais pas la profondeur. Un corpus dont le plafond est 255 peut exprimer une tête plus abrupte qu'un corpus plafonné à 20. Une partie de l'écart résiduel entre locales après normalisation relève de la profondeur de calibrage, non de la réalité de la dénomination.
  • Jaccard y est insensible, mais il a son propre biais. Étant fondé sur les ensembles, il ignore totalement les poids — et pénalise donc en retour l'asymétrie de profondeur. Nos corpus vont de 184 entrées (noms de famille coréens) à 3 830 (prénoms suédois). Un corpus profond apparié à un corpus peu profond obtient un score bas parce que l'union est grande, quelle que soit la qualité de leur correspondance.

Les deux biais tirent en sens opposés, ce qui est la seule raison pour laquelle il vaut la peine de calculer les deux métriques. Le groupe francophone obtient des scores si nets dans notre matrice en partie parce que, au moment du calcul de la matrice, les quatre corpus français comptaient exactement 798 entrées de prénoms — de profondeur égale par construction, si bien que Jaccard n'avait rien à pénaliser. (fr_FR a depuis été reconstruit à 30 594 prénoms ; fr_CA, fr_BE et fr_CH en conservent 798.)

Celle qui n'est pas une défaillance

Un score bas de notre matrice ressemblait exactement à la barrière des écritures et s'est révélé authentique.

La Russie et l'Ukraine partagent 16 noms de famille. Jaccard 0,0041. Chevauchement directionnel de 0,2 % et 3,8 %. Deux pays slaves voisins, et la mesure les donne pour presque totalement étrangers l'un à l'autre.

Mais tous deux écrivent en cyrillique. La barrière des écritures ne s'applique pas, et les zéros ne sont pas des zéros — il y a 16 noms communs, donc les encodages concordent et la comparaison est opérante. Le résultat tient.

Il est aussi structurellement correct. Les noms de famille russes sont très majoritairement des possessifs adjectivaux en -ov/-ev/-in. Les noms de famille ukrainiens sont dominés par le suffixe patronymique -enko et la famille -uk/-yuk, avec -sky et -ych derrière eux. Les systèmes de suffixes productifs ne se recoupent presque pas, donc les répertoires de noms de famille ne se recoupent presque pas. Selon cette mesure, l'Ukraine et la Russie sont plus éloignées l'une de l'autre que la Grande-Bretagne et l'Inde.

La leçon est l'inverse utile de la défaillance 1 : un score bas entre locales de même écriture est instructif d'une manière qu'un score bas entre écritures différentes n'est jamais. Les paires de même écriture sont l'endroit où la méthode fonctionne réellement. Elles sont bien moins nombreuses que les 1 953 cellules de la matrice ne le laissent croire.

La liste de contrôle

Avant de croire une quelconque comparaison de noms entre corpus, y compris la nôtre :

ContrôleCommentÀ quoi ressemble la défaillance
Contrôle d'identitéInclure une paire connue comme identique ; confirmer qu'elle est notée identiqueSerbe ↔ serbe à 0,0000
Recensement des écrituresGrouper les locales par système d'écriture avant de lire le moindre score7 isolats ne partageant rien avec personne
Triage des zérosPour chaque zéro, demander : alphabets différents ou noms différents ?981 des 1 953 paires de prénoms
Examen des poids des deux côtésEn cas de chevauchement élevé, vérifier le poids des noms communs dans chaque corpus佐藤 à 2,6 % contre 0,0003 %
Les deux sensCalculer A→B et B→A ; publier les deux75,4 % contre 8,4 %
Audit des échellesAfficher le max et la somme par locale ; déterminer lesquelles sont de vrais effectifs10 sur 63
Audit de profondeurAfficher le nombre d'entrées ; signaler les paires à fort écart de profondeur184 contre 3 830 entrées
Deux métriquesFondée sur les ensembles et fondée sur les poids ; enquêter là où elles divergentPortugal–Brésil : Jaccard 0,294, cosinus 0,845

La dernière ligne a mérité sa place. Le Portugal et le Brésil obtiennent un score modeste sur le chevauchement ensembliste et le troisième plus élevé de toute la matrice sur le chevauchement pondéré — peu de formes de noms de famille communes, mais celles qui le sont sont les dominantes des deux côtés. C'est un fait structurel réel à propos d'une relation coloniale de dénomination, et il n'est visible que dans l'écart entre les deux métriques. Chacune des deux métriques prise seule décrit un pays différent et incomplet.

Conclusion

La comparaison des noms entre locales est plus fragile que l'audit d'un corpus isolé, parce que chaque mode de défaillance s'ajoute aux autres : une divergence d'écriture met une paire à zéro, une concordance d'écriture en gonfle une autre, le sens double les réponses, et des poids non commensurables corrompent ce qui survit.

La discipline qu'elle exige n'a rien de glorieux. Comptez vos écritures. Triez vos zéros. Affichez les deux sens. Vérifiez ce que sont réellement vos poids. Et placez dans vos données quelque chose dont vous connaissez déjà la réponse, pour que, lorsque la méthode casse, elle casse à un endroit que vous regardez.

La nôtre a cassé sur le serbe, en notant un fichier à zéro face à une translittération de lui-même. C'est le chiffre le plus utile qu'ait produit l'ensemble de l'exercice.


Méthodologie et sources

Ce qui a été calculé. Les 63 locales de la version de corpus share 1.1.7, l'ensemble des 1 953 paires non ordonnées. Les vecteurs de prénoms fusionnent les fichiers masculins et féminins ; les vecteurs de noms de famille utilisent lastname_male (les fichiers de noms de famille masculins et féminins sont identiques dans la plupart des locales, si bien que fusionner les deux doublerait chaque poids sans changer aucun rapport). Par paire : Jaccard sur les ensembles de clés, cosinus sur les vecteurs de poids normalisés en L1, et chevauchement pondéré directionnel dans les deux sens. La correspondance est une égalité exacte de chaînes sur les valeurs brutes des fichiers, sans normalisation, ni repliement, ni translittération. Analyse effectuée le 2026-07-18. ⚠ Le corpus contenait 63 locales lorsque ces chiffres ont été mesurés ; en_IE a été ajoutée le 18 juillet 2026 et il en contient 64 aujourd'hui. Les 1 953 paires sont toutes les paires non ordonnées de ces 63 ; relancer le calcul sur 64 en donnerait 2 016.

Résultats de l'audit des échelles. Le poids maximal et la somme des poids ont été calculés par locale afin de classer le type d'échelle :

LocalePoids maxSomme des poidsClassification
zh_TW2 618 99423 367 536effectifs réels de porteurs
en_US2 369 644129 931 469effectifs réels de porteurs
es_ES1 446 93734 026 331effectifs réels de porteurs
en_GB652 56327 125 558effectifs réels de porteurs
fr_FR250 01320 114 307effectifs réels de porteurs
da_DK222 3552 984 886effectifs réels de porteurs
sv_SE216 4885 594 332effectifs réels de porteurs
uk_UA107 8789 752 950hybride — voir ci-dessous
no_NO47 8792 854 195effectifs réels de porteurs
vi_VN30 49299 441parts, non des effectifs
id_ID202 378relative
de_DE401 946relative
(51 autres)20–255~970–14 500relative

« Issu de registre » n'est pas une catégorie unique, et additionner ces dix locales comme « locales disposant de données réelles » surestime leur comparabilité. Trois des lignes ci-dessus ne sont pas du tout des effectifs de porteurs :

  • vi_VN contient des parts, et non des effectifs. Les poids sont des pour mille × 1 000, ce qui explique qu'ils totalisent ~100 000 et non la population du Vietnam. Nguyễn 30 492 signifie 30,5 % de la population, et non 30 492 personnes.
  • uk_UA est un hybride de trois choses différentes réunies dans une même colonne : ~71 effectifs de registre authentiques en tête, 28 entrées fixées à une valeur uniforme de 20 000 (une tranche publiée « ≥20 000 », non une mesure), et 2 123 entrées posées sur une valeur plancher honnête de 1 000. Deux tiers du fichier sont une valeur de remplissage portant les mêmes unités que la tête.
  • en_IE a été reconstruite à partir d'effectifs réels après le passage de cette analyse et est absente du tableau pour cette raison.

Le corpus contient donc aujourd'hui 64 locales, 12 issues de registres et 52 relatives (recomptées le 22 juillet 2026) — mais les douze ne sont pas toutes de simples effectifs de porteurs. Le problème de commensurabilité que décrit cette section est plus petit qu'il ne l'était et n'a pas disparu ; il s'est en partie mué en un problème plus subtil, où deux locales portent de grands entiers d'apparence réelle qui signifient des choses différentes.

Étendue de profondeur du corpus. Noms de famille : de 184 (ko_KR) à 2 707 (zh_TW). Prénoms : de 484 (vi_VN) à 3 830 (sv_SE).

Décomptes des chevauchements nuls. Prénoms : 981 paires sur 1 953 (50,2 %). Noms de famille : 1 287 sur 1 953 (65,9 %). Isolats d'écriture dans l'ensemble (seuls occupants de leur système d'écriture, donc chevauchement nul avec les 62 autres) : bn_BD, el_GR, he_IL, hy_AM, ka_GE, ko_KR, ne_NP.

Contrôle d'identité. sr_RS et sr_Latn_RS contiennent des nombres d'entrées concordants (1 143 prénoms, 958 noms de famille) et des totaux de poids concordants, ce qui est cohérent avec l'hypothèse que l'un est une translittération de l'autre. La similarité mesurée entre les deux est de 0,0000 sur les quatre métriques, avec 0 entrée commune.

Ce que cet article ne fait pas. Il ne propose pas de solution par translittération ni par correspondance phonétique. Chaque couche de ce type que nous avons envisagée introduit sa propre classe d'erreurs — destructrice pour les écritures non bijectives, taillée pour l'anglais dans le cas des clés phonétiques — et remplacerait les erreurs visibles documentées ici par des erreurs plus difficiles à auditer. La correspondance stricte assortie de défaillances étiquetées a été le choix délibéré. Quiconque construit une comparaison entre écritures devrait traiter ce texte comme un énoncé du problème, non comme sa solution.

À lire également : Quels pays partagent des noms ? rapporte les résultats produits par cette méthode et en énonce les limites à côté d'eux ; Comment auditer un jeu de données de fréquence des noms traite de l'audit d'un corpus isolé, y compris les questions du plafond à 255 et de la couverture revendiquée évoquées plus haut ; Sept façons dont les données de noms vous mentent (article compagnon, pas encore publié) traite des pièges de fond plutôt que des pièges méthodologiques.

← Articles