Lancement de la Developer Productivity AI Arena : une plateforme ouverte pour évaluer les agents de programmation IA
Depuis 25 ans, JetBrains façonne le domaine du développement logiciel pour de nombreux langages de programmation et fait évoluer la façon dont les développeurs et les organisations conçoivent des logiciels. Notre priorité a toujours été d’améliorer la productivité et l’expérience globale des développeurs.
Avec l’essor de l’IA, comprendre comment mesurer les gains de productivité concrets apportés par les outils assistés par l’IA est devenu un défi majeur. Pour tenter de relever ce défi, JetBrains a décidé de créer la Developer Productivity AI Arena (DPAI Arena) et d’en faire une contribution à la Linux Foundation.
« Alors que les agents de programmation IA deviennent partie intégrante du développement logiciel moderne, il devient urgent que notre secteur d’activité dispose d’un moyen transparent et fiable de mesurer leur impact réel sur la productivité des développeurs. La DPAIA établit un framework ouvert et indépendant des fournisseurs pour évaluer le développement assisté par IA dans les différents langages, frameworks et environnements.
Nous invitons les fournisseurs d’agents de programmation et de frameworks à se joindre à cette initiative pour contribuer à définir les benchmarks qui définiront l’avenir de la création de logiciels. Et nous encourageons les utilisateurs finaux à participer en validant l’utilité des outils d’IA dans des conditions de travail réelles, afin de garantir que l’écosystème progresse sur la base de l’ouverture, de la confiance et d’un impact mesurable. »
La DPAI Arena est la première plateforme d’évaluation comparative ouverte, multi-langage, multi-framework et multi-workflow du secteur conçue pour mesurer l’efficacité des agents de programmation IA pour des tâches d’ingénierie logicielle réelles. Construite sur une architecture flexible basée sur des parcours, elle permet des comparaisons équitables et reproductibles de différents workflows, tels que l’application de correctifs, la correction de bugs, la révision des requêtes de fusion, la génération de tests, l’analyse statique, et plus.
Redéfinir l’analyse comparative
Les benchmarks actuels s’appuient sur des ensembles de données obsolètes, couvrent une gamme de technologies restreinte et se concentrent trop étroitement sur les workflows allant de la création de tickets à l’application de correctifs. Alors que les outils d’IA pour la programmation progressent rapidement, il manque toujours au secteur un framework neutre et basé sur des normes pour mesurer leur impact réel sur la productivité des développeurs.
« JetBrains a consacré plus de vingt ans à la création d’outils qui aident des dizaines de millions de développeurs à penser de manière critique, à écrire du code avec assurance et à innover rapidement. Cette expérience nous confère une compréhension du potentiel qu’offre l’IA comme de la pression qu’elle exerce actuellement sur le domaine du développement logiciel. Nous sommes les premiers témoins des tentatives des équipes pour concilier gains de productivité, qualité du code, transparence et confiance ; des défis qui requièrent bien plus que de simples comparatifs de performance pour être relevés.
La Developer Productivity AI Arena vise à fournir une approche claire et responsable pour évaluer et améliorer les agents de programmation IA de manière cohérente et collaborative, et pour aider notre secteur d’activité à voir et à mesurer la différence entre une IA qui se contente d’accélérer la réalisation du travail et une IA qui le comprend et le facilite véritablement. En définissant un framework commun pour l’évaluation comparative des agents, nous aspirons à promouvoir la transparence et la confiance au sein du système d’IA. »
La DPAI Arena comble cette lacune grâce à des pipelines d’évaluation transparents, à une infrastructure reproductible et à des ensembles de données sur multi-parcours, extensibles et pilotés par la communauté.
Mesurer ce qui compte
La DPAI Arena apporte un moyen de mesurer la productivité dans le domaine du développement logiciel assisté par IA. Les fournisseurs d’outils d’IA peuvent comparer et améliorer leurs outils en fonction de tâches réelles. Les fournisseurs de technologies peuvent maintenir leurs écosystèmes au plus haut niveau en contribuant à des benchmarks spécifiques à leur domaine. Les entreprises bénéficient d’un moyen fiable d’évaluer les outils avant de de les adopter. Et les développeurs ont accès à des informations transparentes sur les outils capables d’augmenter réellement leur productivité.
La DPAI Arena est conçue pour permettre à tous de contribuer à l’avenir de la programmation par IA. Le premier benchmark de la plateforme, Spring Benchmark, introduit la norme technique pour les contributions futures. Premièrement, il met en œuvre les directives relatives à la création d’ensembles de données, en détaillant également les formats d’évaluation pris en charge et les règles générales. Deuxièmement, il fournit une base solide pour une infrastructure découplée, permettant à chacun d’apporter son propre ensemble de données (approche BYOD) et de réutiliser l’infrastructure pour ses propres évaluations.
Nous développons également Spring AI Bench pour étendre le flux de benchmarking Java dans la DPAI Arena et nous travaillons en étroite collaboration avec l’équipe centrale du projet pour promouvoir une plus grande diversité et un benchmarking multi-parcours dans l’écosystème Java.
Rejoignez la DPAI Arena
Nous avons l’intention de transformer ce projet en une contribution à la Linux Foundation, qui mettra ensuite en place un comité de pilotage technique diversifié et inclusif afin de déterminer l’orientation future de la plateforme.
Suivez l’évolution de la plateforme sur https://dpaia.dev/. Pour plus d’informations, consultez notre Présentation du projet ou GitHub org.
Auteur de l’article original en anglais :
Subscribe to JetBrains Blog updates
