La quête d'une intelligence artificielle sûre et constitutionnelle
Dario Amodei est une figure centrale de l'intelligence artificielle moderne, connu pour son approche rigoureuse axée sur la sécurité et la mise à l'échelle (scaling). Après avoir joué un rôle clé chez OpenAI, il a cofondé Anthropic en 2021 avec sa sœur Daniela Amodei et d'autres anciens cadres d'OpenAI.
Physicien de formation (Ph.D. de Princeton), Amodei apporte une vision scientifique et empirique à l'IA. Avant Anthropic, il était vice-président de la recherche chez OpenAI, où il a dirigé les travaux sur GPT-2 et GPT-3.
Son départ d'OpenAI était principalement motivé par des divergences de vues sur la direction commerciale de l'entreprise et la nécessité de se concentrer davantage sur la sûreté de l'IA (AI Safety) avant de poursuivre une croissance effrénée.
Anthropic se définit comme une société de "sécurité et de recherche en IA". Sous l'impulsion d'Amodei, leurs travaux se concentrent sur trois piliers majeurs :
C'est l'innovation la plus célèbre d'Anthropic. Contrairement à l'apprentissage par renforcement classique basé sur le feedback humain (RLHF), l'IA constitutionnelle apprend à s'auto-corriger en suivant une "constitution".
Amodei pousse ses équipes à comprendre ce qui se passe réellement à l'intérieur des "boîtes noires" que sont les réseaux de neurones.
Dario Amodei a été l'un des premiers à théoriser que l'augmentation de la puissance de calcul et des données prédisait de manière mathématique l'amélioration des performances de l'IA.
Toutes ces recherches culminent dans leur produit phare, Claude (actuellement en version Claude 3.5 Sonnet). Comparé à ses concurrents, Claude est souvent perçu comme ayant un ton plus "humain" et capable de traiter de très longs contextes.
Pour Amodei, le risque n'est pas seulement une "IA rebelle", mais des modèles puissants qui pourraient faciliter des cyberattaques ou des armes biologiques s'ils ne sont pas bridés par des protocoles de sécurité robustes.