Preference Model a levé 16 millions de dollars en financement seed, conduit par Andreessen Horowitz (a16z), avec la participation de SignalFire, South Park Commons, Scale Angel Group et de chercheurs tels que Fei‑Fei Li, Ian Goodfellow et Julian Schrittwieser.
La société développe des environnements d’apprentissage par renforcement (RL) destinés à entraîner des systèmes d’IA plus capables et mieux alignés. Elle indique avoir passé l’année écoulée à concevoir ces environnements pour plusieurs laboratoires d’IA de pointe.
Preference Model et Karotte : un cadre open source pour les environnements RL
Parallèlement au financement, Preference Model a publié en open source Karotte, un cadre utilisé en interne pour développer ses environnements RL. Karotte a été soumis à plus d’un million d’exécutions d’évaluation et à des exercices de red‑teaming contrôlés.
Le cadre fournit des paramètres par défaut sécurisés et des outils visant à empêcher que des agents ne manipulent les évaluateurs, n’accèdent à des informations non prévues, n’épuisent les ressources système ou n’exploitent autrement l’infrastructure d’entraînement.
L’activité de Preference Model se concentre sur la création d’environnements d’entraînement résistants au « reward hacking », un phénomène où des modèles d’IA exploitent des failles d’une tâche ou d’un système de notation plutôt que de résoudre le problème attendu. Selon la société, de tels comportements découverts pendant l’entraînement peuvent être renforcés, et non seulement produire des résultats de benchmark inexacts.
Andreessen Horowitz a déclaré que Preference Model travaille sur un domaine de plus en plus important pour les laboratoires d’IA : construire l’infrastructure nécessaire pour identifier les faiblesses des modèles, générer des tâches plus difficiles et tester des environnements contre des agents qui cherchent activement à les mettre à l’épreuve.
La société a résumé sa position ainsi : « Nous pensons que des environnements RL robustes sont un élément clé pour entraîner des modèles alignés à mesure que nous nous dirigeons vers l’ère de la superintelligence. » Elle a ajouté : « Au cours de l’année écoulée, nous avons construit des environnements RL pour plusieurs laboratoires de pointe, et nous sommes soutenus par 16 M$ en financement seed dirigé par a16z, avec la participation de SignalFire, South Park Commons, Scale Angel Group et des chercheurs dont Fei‑Fei Li, Ian Goodfellow et Julian Schrittwieser. »
Le financement servira à poursuivre le développement d’infrastructures et d’outils d’apprentissage par renforcement destinés aux développeurs d’IA de pointe.
