FDM-1 – L'IA qui utilise un ordinateur comme vous
Standard Intelligence
vient d’annoncer FDM-1, un modèle IA capable de contrôler n’importe quel ordinateur… en regardant l’écran et en cliquant. Comme nous !!
En gros le modèle regarde des pixels, comprend l’interface et exécute des actions. Clics, mouvements de souris, saisie clavier… et ça tourne à 30 FPS avec 11 ms de latence. Donc c’est beaucoup plus réactif que la plupart des français devant un formulaire administratif, quoi… ^^
Concrètement, vous pourriez lui demander de remplir vos tableurs Excel ou Google Sheets, de naviguer dans SAP, Salesforce ou n’importe quel logiciel métier sous Windows, macOS ou Linux, ou d’automatiser ces clics débiles que vous faites 200 fois par jour. Attention, c’est pas un bot Selenium ou un macro AutoHotkey hein. C’est vraiment un truc qui comprend ce qu’il voit à l’écran.
Du coup, ça se compose de 3 blocs. Un encodeur vidéo qui compresse le flux visuel, un modèle de dynamique inverse, entraîné sur 40 000 heures de données humaines, qui relie les actions aux changements d’écran, et bien sûr le modèle d’action, qui prédit le prochain clic.
Le truc carrément dingue, c’est l’échelle d’entrainement de ce modèle… 11 millions d’heures de vidéo d’entraînement, 80 000 machines virtuelles en parallèle, un seul GPU NVIDIA H100 qui pilote 42 VMs à la fois. Ça représente plus d’un million de simulations par heure. Y’a de quoi faire donc !
Et les applications vont loin… Par exemple, CAO sur Blender 3D, conduite autonome avec moins d’une heure de vidéo à 1080p, et même du fuzzing d’applications bancaires (Ahaha, je sais ça va vous plaire ça !).
Si vous connaissez déjà des agents comme
ByteBot
ou
Skyvern
, FDM-1 joue dans une autre catégorie. Ces outils s’appuient sur des LLMs pour comprendre ce qu’ils voient mais FDM-1, lui, fonctionne sans aucun modèle de langage. En fait, c’est du pur apprentissage visuel sans aucun GPT en dessous. C’est un
agent IA autonome
sous stéroïdes, quoi.
Et comparé aux solutions RPA classiques genre UiPath ou Automation Anywhere, la différence est radicale. Le RPA traditionnel, c’est des scripts qui cassent dès qu’un bouton bouge de 3 pixels. Mais l’agent de Standard Intelligence lui s’en fiche puisqu’il comprend visuellement ce qu’il voit et saura s’adapter en quelques minutes. Je sens que les scrapers qui me lisent vont mouiller leur culotte…
Par contre, c’est maintenant le moment où je vous déçois un peu car le truc n’est pas encore dispo publiquement et aucune date n’est annoncée. Et les démos viennent de l’équipe elle-même… donc voilà, je reste prudent.
Et côté sécurité, y’a de quoi flipper un peu car un agent capable de cliquer partout sur n’importe quelle interface, ça ouvre la porte au phishing automatisé ou au clickjacking à grande échelle, sauf si des garde-fous sérieux sont mis en place (et pour l’instant, j’en vois pas).
Bref, c’est du lourd sur le papier mais reste à voir quand on pourra y toucher.
Source : korben.info