Méthode du tri croisé ou des comparaisons par paires

Exposé à caractère pédagogique

Jean MICHEL – 31 janvier 2010

Plusieurs objets (entités, solutions, projets, personnes…) doivent être comparés et classés les uns par rapport aux autres, ce qui est une situation assez courante.

La méthode du tri croisé (ou des comparaisons par paires) que l’on va expliquer ci-après, présente plusieurs intérêts :

- il est en effet nettement plus facile de comparer les objets entre eux, par paire (comparaisons locales), plutôt que de chercher d’emblée à vouloir les classer dans l’absolu du meilleur au moins bon;

- les comparaisons se font sur la base de jugements qualitatifs simples (c’est meilleur ou c’est moins bon) ;

- ces comparaisons par paires permettent, après traitement mathématique plus ou moins élaboré, de dégager une tendance générale de hirérachisation ou classement (vers un “quasi ordre”) ;

- la méthode s’adapte assez bien au contexte de jurys de plusieurs personnes (multi-évaluateurs) devant se prononcer entre plusiuers objets (cas des concours…);

- on peut par ailleurs établir des graphes ou représentations visuelles à partir des tableaux de chiffres, d’où une meilleure compréhension de ce qui est important ou non, in fine ;

- la méthode permet enfin (notamment dans le cas de la multi-évaluation) de dégager assez facilement des points forts de convergence et d’amener les jurys à discuter plus attentivement les cas de divergence de points de vue.

Il est important toutefois de mettre en relief plusieurs limites :

- il ne s’agit pas d’une méthode “scientifique” même si elle a l’apparence de la rationalité ; c’est essentiellement une technique, un outil d’aide à la décision ;

- le choix des formules mathématiques utilisées pour pondérer et agréger les choix élémentaires reste arbitraire et des simulations montrent aisément la variabilité des résultats dégagés à la fin de la démarche ;

- et bien évidemment, compilant des jugements qualitatifs, elle est forcément conditionnée par la subjectivité des évaluateurs.

Dans le texte qui suit, on essaye de montrer plusieurs variantes de la méthode, tout en expliquant sommairement la “mécanique” utilisée.

Pour ne pas imposer un formalisme mathématique qui pourrait rebuter nombre de lecteurs, on présentera des exemples simples, tous basés sur l’objectif d’évaluer et classer cinq objets : A, B, C, D, E ( 5 projets, 5 devoirs d’étudiants, 5 villes….).

1 – Le cadre de départ : les évaluations élémentaires

On va systématiquement comparer A à B, A à C, A à D, B à C etc… en indiquant seulement si A est meilleur, égal ou moins bon que B, etc.

Dans le tableau ci-dessous, on indique si l’objet en ligne (en majuscules, gras et italiques) est meilleur (>), moins bon (<), ou égal (=) à celui en colonne (majuscules standard).

	A	B	C	D	E
A	-------	<	>	=	<
B	>	--------	<	>	<
C	<	>	--------	=	=
D	=	<	=	--------	<
E	>	>	=	>	--------

Ici, B est supérieur à A ; C est inférieur à A et supérieur à B ; D est égal à A, inférieur à B et égal à C, E est supérieur à A, supérieur à B, égal à C et supérieur à D.

Du fait des comparaisons par paires (et de l’inversion automatique des évaluations), on pourrait bien sûr ne considèrer que la demi-matrice supérieure, diagonale exclue

	A	B	C	D	E
A	-------	<	>	=	<
B		--------	<	>	<
C			--------	=	=
D				--------	<
E					--------

Cette matrice des évaluations comparatives donne naissance à un “graphe” faisant ressortir les objets “dominants” et les objets “dominés”.

Dessiné de cette façon, ce graphe est difficilement interprétable. Peut-on y déceler un quelconque ordre ou quasi ordre permettant d’esquisser un possible classement global des objets ? Difficile a priori, sauf à se faire aider par quelques techniques mathématiques plus ou moins élaborées, ce que nous allons essayer de faire maintenant.

2 – Des approches simples dans le cas d’un évaluateur unique

Dans les deux modèles ci-dessous, on retient l’hypothèse qu’une seule personne évalue les objets.

2-1. Une approche basée sur un principe de “majorité brute” : modèle 1

On va donc recourir à une première métrique brutale permettant de transformer la matrice des évaluations comparatives en un tableau de chiffres. Pour chaque objet en ligne, on inscrit une valeur de 1 point dans la case au regard de la colonne d’un objet qu’il domine (majorité brute). On inscrit 0 par contre en cas d’égalité ou d’infériorité.

On procède ensuite à la sommation en ligne des points pour chaque objet (poids), on convertit ces résultats en pourcentages et on en déduit un rang pour les objets.

	A	B	C	D	E	Poids	%	Rang
A	-------	0	1	0	0	A = 1	14%	3ex
B	1	--------	0	1	0	B = 2	29%	2
C	0	1	--------	0	0	C = 1	14%	3ex
D	0	0	0	--------	0	D = 0	0%	5
E	1	1	0	1	--------	E = 3	43%	1
						Tot = 7	100%

En considérant les rangs et les pourcentages, on peut établir un nouveau graphe présentant un début d’orientation ou hiérérachisation avec des flèches orientées pour les seules relations de domination et des tirets en pointillés en cas d’égalité. On peut pour faciliter l’établissement du graphe se servir d’une échelle sur une étendue allant de 0 à 43% (en mettant toutefois l’objet le plus dominant à gauche, l’objet le plus dominé eétant à droite).

Ce graphe orienté (modèle 1) fait ressortir déjà clairement que l’objet E domine assez nettement les 4 autres et que l’objet D est plutôt dominé. Les objets A et C semblent assez équivalents, B étant en position intermédiaire entre E d’un côté et A et C de l’autre.

2-2. Une approche recoutant à une pondération des comparaisons : modèle 2

On peut sophistiquer le modèle et attribuer des pondérations aux relations entre objets :

- les deux objets comparés sont équivalents en force ou poids (=) ;

- l’un des objets est légèrement supérieur à l’autre (>) ;

- l’un des objets est plus important que l’autre (>>) ;

- l’un des objets est beaucoup plus important que l’autre (>>>).

Cela donne le tableau suivant (l’objet en ligne est comparé à l’objet en colonne) :

	A	B	C	D	E
A	-------	<<	>	=	<
B	>>	--------	<<	>	<<
C	<	>>	--------	=	=
D	=	<	=	--------	<<<
E	>	>>	=	>>>	--------

On recourt alors à une nouvelle métrique consistant à attribuer à l’objet (en ligne) dominant dans la paire une valeur de 1, 2 ou 3 points selon son degré de domination sur l’objet en colonnes et une valeur de 0 point s’il est dominé ou s’il est équivalent.

	A	B	C	D	E	Poids	%	Rang
A	-------	0	1	0	0	A = 1	8%	4
B	2	--------	0	1	0	B = 3	25%	2
C	0	2	--------	0	0	C = 2	17%	3
D	0	0	0	--------	0	D = 0	0%	5
E	1	2	0	3	--------	E = 6	50%	1
						Tot=12	100%

On en déduit le graphe orienté et pondéré suivant, pour lequel, en outre, on accentue la force des flèches proprotionnellement à l’intensité de la domination.

On voit apparaître sur ce graphe une certaine hiérachisation (quasi ordre), même si des flèches en sens inverse du graphe peuvent être notées (triangle A, B, C). Sur cet exemple (et donc avec les valeurs choisies pour ce cas précis), on observe une différenciation assez nette des poids respectifs des divers objets.

3 – Approches avec évaluateurs multiples

Du cas mono-évaluateur on peut aller vers un contexte à évaluateurs multiples. On considèrera dans les exemples qui suivent un jury de 10 évaluateurs.

3-1. Une approche multi-évaluateurs à “majorité brute” : modèle 3

On relève les diverses évaluations, l’objet en ligne étant comparé à celui en celui en colonne. Pour chaque paire d’objets, on note le nombre de jurés en faveur d’une relation de type > ou de type = .

	A	B	C	D	E
A	-------	3 > 1 =	2 > 3 =	9 > 1 =	1 > 2 =
B	6 > 1 =	--------	4 > 1 =	5 > 3 =	1 > 2 =
C	5 > 3 =	5 > 1 =	--------	9 > 1 =	2 > 3 =
D	0 > 1 =	2 > 3 =	0 > 1 =	--------	0 > 1 =
E	7 > 2 =	7 > 2 =	5 > 3 =	9 > 1 =	--------

Comme pour le modèle 1, on transforme alors la matrice en un tableau de valeurs, en indiquant 1 point pour l’objet (en ligne) en position strictement dominante (>) et 0 point dans les autres cas.

	A	B	C	D	E	Poids	%	Rang
A	-------	0	0	1	0	1	10 %	4
B	1	--------	0	1	0	2	20 %	3
C	1	1	--------	1	0	3	30 %	2
D	0	0	0	--------	0	0	0 %	5
E	1	1	1	1	--------	4	40 %	1
						Tot=10	100 %

Le graphe associé fait ressortir (dans cet exemple), un ordre quasi parfait avec une répartition équilibrée des ourcentages ou poids des objets.

3-2. Une approche multi-évaluateurs “à la proportionnelle” : modèle 4

A partir du tableau des comparaisons du modèle 3, on peut aussi travailler les relations entre objets en tenant compte, plus judicieusement, du nombre d’évaluateurs en faveur d’une option ou de sa contraire (en quelque sorte, introduction d’une certaine forme de proportionnelle). On transforme à nouveau la matrice multi-évaluateurs des choix, en comptabilisant (pour chaque paire d’objets), le nombre de voix des évaluateurs en faveur ou en défaveur d’un des objets (les égalités ne sont pas prises en compte).

On procède à la sommation en ligne des points obtenus, on convertit en pourcentages et on en déduit un rang.

	A	B	C	D	E	Nombre	%	Rang
A	-------	3	2	9	1	A = 15	18 %	4
B	6	--------	4	5	1	B = 16	20 %	3
C	5	5	--------	9	2	C = 21	26 %	2
D	0	2	0	--------	0	D = 2	2 %	5
E	7	7	5	9	--------	E = 28	34 %	1
						Tot=82	100

Cela donne naissance au graphe orienté suivant. Pour expliciter plus finement les résultats, on a mis en noir les flèches en noir montrent les relations de domination (avec une certaine proportionnalité à leur importance) et on a ajoué des flèches en gris qui correspondent aux relations avec avis contraires (et leur force relative).

Ce graphe peut être discuté au sein du jury, notamment autour des trois objets A, B et C, plutôt proches et certaines relations “contraires” (minorités fortes) à questionner  comme par exemple : C > B pour 5 évaluateurs mais B > C pour 4 évaluateurs.

3-3. Une approche multi-évaluateurs avec comparaisons pondérées (modèle 5)

On peut aller plus loin encore et faire évoluer le modèle multi-évaluateurs en considérant que les évaluateurs se prononçent sur chaque paire d’objets en utilisant la métrique à 4 valeurs du modèle 2. On obtient (exemple nouveau ici) le tableau suivant dans lequel on indique, pour chaque case, le nombre d’évaluateurs accordant l’une des 4 valeurs suivantes >>>, >>, > ou =. L’objet en ligne est comparé à celui en celui en colonne.

	A	B	C	D	E
A	-------	0 >>> 1 >> 2 > 1 =	0 >>> 1 >> 1 > 3 =	2 >>> 7 >> 0 > 1 =	0 >>> 0 >> 1 > 2 =
B	0 >>> 4 >> 2 > 1 =	--------	0 >>> 0 >> 4 > 1 =	0>>> 3 >> 2 > 3 =	0 >>> 0 >> 1 > 2 =
C	0 >>> 0 >> 5 > 3 =	0 >>> 1 >> 4 > 1 =	--------	6 >>> 2 >> 1 > 1 =	0 >>> 0 >> 2 > 3 =
D	0 >>> 0 >> 0 > 1 =	0 >>> 0 >> 2 > 3 =	0 >>> 0 >> 0 > 1 =	--------	0 >>> 0 >> 0 > 1 =
E	2 >>> 2 >> 3 > 2 =	1 >>> 1 >> 5 > 2 =	0 >>> 1 >> 4 > 3 =	8 >>> 1>> 0 > 1 =	--------

Pour le calcul des points, on multiplie par les valeurs 3 (>>>), 2 (>>) ou 1 (>) le nombre des évaluateurs accordant la même valeur à la relation de domination d’un objet sur un autre.

Ainsi, dans l’exemple donné, pour la relation entre A et B :

- 4 évaluateurs donnent B >> A, ce qui permet d’attribuer 4x2=8 points à B ;

- 2 évaluateurs donnent B > A, ce qui permet d’attribuer 2 points de plus à B.

D’où un total de 10 points à B pour sa relation de domination sur A. 

	A	B	C	D	E	Poids	%	Rang
A	-------	4	3	20	1	A = 28	19 %	3
B	10	--------	4	8	1	B = 23	16 %	4
C	5	6	--------	23	2	C = 36	25 %	2
D	0	2	0	--------	0	D = 2	2 %	5
E	13	10	6	26	--------	E = 55	38 %	1
						Tot=144	100%

A partir de ce tableau, on dresse le graphe orienté suivant, dans lequel la force des flèches est proportionnelle au différentiel de points entre les deux relations de dominant et de dominé.

On observe ici que le graphe est quasi bien ordonné (à l’exception d’une relation plutôt à contre-courant B > A). On peut interpréter le graphe de la façon suivante :

- un objet E domine incontestablement les 4 autres, et cela de façon quasi unanime pour l’ensemble des évaluateurs  (un évaluateur sur 10 a opté pour E < A, un autre a opté pour E < B et deux ont choisi C < B) ;

- un objet D est totalement dominé par les 4 autres et cela de façon quasi unanime (seuls 2 évaluateurs ont opté pour une relation contraire D > B) ;

- les 3 objets A, B et C semblent former un groupe assez homogène plus difficile à partager, les évaluateurs n’exprimant pas de profondes divergences ; les calculs donnent toutefois un certain avantage à C.

Le graphe va maintenant permettre la discussion au sein du jury.

4 – Et pour aller plus loin, des outils plus sophistiqués

Certains travaux avancés de recherche opérationnelle ont permis de pousser plus loin encore la théorie et les modèles du tri croisé et de la comparaison par paires. Ils introduisent notamment plusieurs développements nouveaux :

- remplacer les métriques en 0 (≤) et 1 (>) ou en 0 (=), 1 (>), 2 (>>) et 3 (>>>) par une fonction de répartition de valeurs sur une échelle donnée (fonction linéaire ou non) ;

- ajouter lors de chaque comparaison une probabilité (certitude plus ou moins grande sur le sens à donner à la relation de domination), ce qui ouvre la voie à l’utilisation des “logiques floues” dans ce type de modélisation et d’aide à la décision.