EQ-Bench – Le benchmark de l'intelligence émotionnelle des IA

Sam Paech s’est rendu compte qu’on testait toujours les IA sur le code, les maths, et à qui
battra un prochain record
, mais presque jamais sur leur capacité à comprendre les émotions humaines ou à pondre un texte qui ne sente pas le slop de bot à plein nez. Et c’est pour ça qu’il a monté
EQ-Bench
, un benchmark qui note l**’intelligence émotionnelle des grands modèles de langage**.

Pour alimenter son benchmark, il colle tout un tas de modèles dans des jeux de rôle un peu tordus (45 scénarios dans sa dernière version) et c’est un autre modèle (Claude, en l’occurrence) qui joue l’examinateur. Il note alors chaque réponse sur huit dimensions, telles que l’empathie, la finesse sociale ou la capacité à poser une limite quand il faut, puis nous sort un classement façon Elo (le classement des échecs). Tout est open source, documenté dans un
papier de recherche
et Paech finance ce bazar avec ses propres deniers.

Et depuis 2023, c’est devenu une véritable collection de tests…

Y’a un test d’écriture créative, un autre qui regarde si le modèle vous cire les pompes au lieu de vous recadrer quand la conversation s’éternise, un sur l’humour, et même un où les IA jouent à Diplomacy pour voir lesquelles savent négocier et bluffer.

Mais mon préféré c’est le Slop Score, qui mesure à quel point un texte pue l’IA. Pour cela, il traque les mots sur-utilisés et le fameux tic du « pas X, mais Y ». Bref, de quoi objectiver (un peu) ce qui rend
la moitié du web illisible
ces temps-ci.

Paech prévient quand même que son "juge" reste quelque chose de totalement subjectif et qu’il n’existe aucune vérité absolue sur l’intelligence émotionnelle. C’est donc plutôt à lire comme une boussole et pas comme un verdict gravé dans le marbre (ou le silicium ^^).

Toutefois, pour savoir si un modèle écrit comme un humain plutôt que comme un employé d’agence de branding, c’est plutôt pratique. Et je vous conseille d’aller fouiller un peu dans les classements, comme ça vous verrez que le meilleur en code n’est pas forcement le plus futé côté émotions…

Bref, vivement le retour de Fable 5 ^^

Source : korben.info