{"id":657329,"date":"2025-11-28T08:04:24","date_gmt":"2025-11-28T07:04:24","guid":{"rendered":"https:\/\/blog.jetbrains.com\/?post_type=blog&p=657329"},"modified":"2025-11-28T08:04:28","modified_gmt":"2025-11-28T07:04:28","slug":"einfuehrung-von-developer-productivity-ai-arena-eine-offene-benchmarking-plattform-fuer-ki-coding-agents","status":"publish","type":"blog","link":"https:\/\/blog.jetbrains.com\/de\/blog\/2025\/11\/28\/einfuehrung-von-developer-productivity-ai-arena-eine-offene-benchmarking-plattform-fuer-ki-coding-agents\/","title":{"rendered":"Einf\u00fchrung von Developer Productivity AI Arena: eine offene Benchmarking-Plattform f\u00fcr KI-Coding-Agents"},"content":{"rendered":"

Seit 25 Jahren pr\u00e4gt JetBrains die Softwareentwicklung in mehreren Programmiersprachen und ver\u00e4ndert die Art und Weise, wie Entwickler*innen und Unternehmen an Software arbeiten. Unser Schwerpunkt lag stets darauf, die Produktivit\u00e4t und die allgemeine Entwicklungserfahrung zu verbessern.<\/p>\n

Angesichts der wachsenden Bedeutung von KI-Systemen besteht eine zentrale Herausforderung nun darin, die tats\u00e4chlichen Produktivit\u00e4tssteigerungen durch KI-Tools in Zahlen zu fassen. Um diese Herausforderung zu bew\u00e4ltigen, entschied sich JetBrains, die Developer Productivity AI Arena (DPAI Arena)<\/strong> zu entwickeln und der Linux Foundation zu \u00fcbergeben.<\/p>\n

\n
\n

\u201eKI-Coding-Agents sind dabei, zu einem integralen Bestandteil der modernen Softwareentwicklung zu werden, und daher ben\u00f6tigt die Branche dringend eine transparente und vertrauensw\u00fcrdige Methode, um den tats\u00e4chlichen Einfluss auf die Entwicklerproduktivit\u00e4t zu messen. DPAIA schafft einen offenen, anbieterneutralen Rahmen f\u00fcr die Bewertung der KI-gest\u00fctzten Softwareentwicklung in verschiedenen Sprachen, Frameworks und Umgebungen.<\/p>\n

Wir laden Anbieter von Coding-Agents und Frameworks ein, sich dieser Initiative anzuschlie\u00dfen und an der Gestaltung der Benchmarks mitzuwirken, die die n\u00e4chste \u00c4ra der Softwareentwicklung pr\u00e4gen werden. Wir ermutigen auch die Endbenutzer*innen, sich zu beteiligen, indem sie KI-Tools in ihren realen Arbeitsprozessen pr\u00fcfen und auf diese Weise sicherstellen, dass das \u00d6kosystem auf der Grundlage von Offenheit, Vertrauen und messbarer Wirkung weiterentwickelt wird.\u201c<\/p>\n<\/blockquote>\n

\n
Mark Collier<\/strong>
Gesch\u00e4ftsf\u00fchrer, KI und Infrastruktur, Linux Foundation<\/span><\/div>\n<\/div>\n<\/div>\n

DPAI Arena ist die erste offene Benchmark-Plattform der Branche, die verschiedene Sprachen, Frameworks und Workflows unterst\u00fctzt und darauf ausgerichtet ist, die Effektivit\u00e4t von KI-Coding-Agents anhand von realen Softwareentwicklungsaufgaben zu messen. Auf der Basis einer flexiblen, trackbasierten Architektur erm\u00f6glicht sie faire, reproduzierbare Vergleiche \u00fcber verschiedene Workflows hinweg, darunter Patching, Fehlerbehebung, PR-Reviews, Testgenerierung, statische Analysen und mehr.<\/p>\n

Benchmarking neu definiert<\/strong><\/h3>\n

Aktuelle Benchmarks basieren auf veralteten Datensammlungen, decken nur ein enges Technologiespektrum ab und konzentrieren sich zu sehr auf Issue-zu-Patch-Abl\u00e4ufe. Trotz der rasanten Fortschritte im Bereich der KI-Programmiertools fehlt es der Branche nach wie vor an einem neutralen, standardbasierten Rahmen zur Messung der tats\u00e4chlichen Auswirkungen auf die Entwicklerproduktivit\u00e4t.<\/p>\n

\n
\n

\u201eJetBrains entwickelt seit mehr als zwei Jahrzehnten Tools, die Millionen von Softwareentwickler*innen dabei unterst\u00fctzen, kritisch zu denken, dem eigenen Code zu vertrauen und z\u00fcgig und innovativ zu arbeiten. Dadurch haben wir eine einzigartige Perspektive auf das Potenzial der KI-Entwicklung und den Druck, der dabei auf der Softwareentwicklungsbranche lastet. Wir beobachten unmittelbar, wie Teams versuchen, den Spagat zwischen Produktivit\u00e4tssteigerungen einerseits und Codequalit\u00e4t, Transparenz und Vertrauen andererseits zu schaffen \u2013 eine Herausforderung, die mehr als nur Leistungsbenchmarks erfordert.
Die Developer Productivity AI Arena wurde entwickelt, um \u00dcbersichtlichkeit und klare Verantwortlichkeiten zu schaffen, KI-Coding-Agents einheitlich und kollaborativ zu bewerten und zu verbessern und der Branche zu vermitteln, dass es einen Unterschied gibt zwischen KIs, die lediglich die Arbeit beschleunigen, und solchen, die sie wirklich verstehen und erleichtern \u2013 und dass dieser Unterschied sogar gemessen werden kann. Durch die Definition eines gemeinsamen Rahmenwerks f\u00fcr das Benchmarking von KI-Agents m\u00f6chten wir Transparenz und Vertrauen in Bezug auf die gesamte KI-Entwicklung f\u00f6rdern. \u201c<\/p>\n<\/blockquote>\n

\n
Kirill Skrygan<\/strong>
CEO, JetBrains<\/span><\/div>\n<\/div>\n<\/div>\n

DPAI Arena schlie\u00dft diese L\u00fccke durch transparente Bewertungspipelines, eine reproduzierbare Infrastruktur und erweiterbare, Community-gesteuerte Multi-Track-Datensammlungen.<\/p>\n

Messen, was wirklich z\u00e4hlt<\/strong><\/h3>\n

DPAI Arena erm\u00f6glicht die Messung der Produktivit\u00e4t in der KI-gest\u00fctzten Softwareentwicklung. Anbieter von KI-Tools k\u00f6nnen ihre Produkte anhand realer Aufgaben benchmarken und optimieren, Technologieanbieter sorgen durch die Bereitstellung dom\u00e4nenspezifischer Benchmarks daf\u00fcr, dass ihre \u00d6kosysteme an vorderster Front der Entwicklung bleiben, Unternehmen erhalten eine zuverl\u00e4ssige Methode zur Bewertung von Tools vor deren Einf\u00fchrung und Entwickler*innen bekommen einen transparenten Einblick in die Faktoren, die tats\u00e4chlich zur Produktivit\u00e4t beitragen.<\/p>\n

lDPAI Arena wurde entwickelt, um allen die M\u00f6glichkeit zu bieten, zur Zukunft der KI-gest\u00fctzten Programmierung beizutragen. Der erste Benchmark der Plattform, Spring Benchmark, f\u00fchrt den technischen Standard f\u00fcr zuk\u00fcnftige Beitr\u00e4ge ein. Erstens setzt er die Richtlinien f\u00fcr die Erstellung von Datensammlungen um, wobei auch die unterst\u00fctzten Bewertungsformate und allgemeinen Regeln detailliert beschrieben werden. Zweitens bietet er eine solide Grundlage f\u00fcr eine entkoppelte Infrastruktur, die es jedem erm\u00f6glicht, eigene Datensammlungen einzusetzen (BYOD-Ansatz) und die Infrastruktur f\u00fcr eigene Auswertungen wiederzuverwenden.<\/p>\n

Wir sehen uns derzeit auch Spring AI Bench<\/a> an, um den Java-Benchmarking-Stream in DPAI Arena zu erweitern. Dabei arbeiten wir eng mit dem Projekt-Kernteam zusammen, um das Java-\u00d6kosystem durch mehr Variabilit\u00e4t und Multi-Track-Benchmarks zu bereichern.<\/p>\n

Wirken Sie an DPAI Arena mit<\/strong><\/h3>\n

Wir haben vor, dieses Projekt der Linux Foundation zu \u00fcbergeben, die im Anschluss einen vielf\u00e4ltig und inklusiv besetzten Lenkungsausschuss berufen wird, um die zuk\u00fcnftige Ausrichtung der Plattform zu bestimmen.<\/p>\n

Unter https:\/\/dpaia.dev\/<\/a> k\u00f6nnen Sie die Fortschritte der Plattform verfolgen. Weitere Informationen finden Sie in unserer Projekt\u00fcbersicht<\/a> oder auf GitHub<\/a>.<\/p>\n

Autor des urspr\u00fcnglichen Blogposts<\/strong><\/p>\n\n

\n
\n
\n
\n \"Arun\n <\/div>\n
\n

Arun Gupta<\/h4>\n

Arun Gupta is a globally recognized expert in developer relations, open source strategy, and go-to-market innovation. He is the VP of Developer Experience at JetBrains, leading the effort to connect with the global developer community and external partners. With over 25 years of experience at Intel, Apple, Amazon, and Red Hat, he\u2019s built developer communities that drive adoption and aligned DevRel with product, marketing, and sales to create lasting champions. Arun advocates mindfulness, kindness, and developer empathy as the foundation of modern DevRel.<\/p>\n

He chaired the CNCF and OpenSSF governing boards, leading ecosystem growth and open source security initiatives. Arun also helped Fortune 100 companies embrace open collaboration through founding multiple open source program offices. A global speaker and author, Arun has keynoted in 50+ countries, is a Docker Captain and Java Champion, and founded Devoxx4Kids USA. He actively leads initiatives like TEDAI and the UN\u2019s Tech Over Hackathon.<\/p>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n","protected":false},"author":964,"featured_media":662618,"comment_status":"closed","ping_status":"closed","template":"","categories":[8899,89],"tags":[6847,8724,8946,6717],"cross-post-tag":[],"acf":[],"_links":{"self":[{"href":"https:\/\/blog.jetbrains.com\/de\/wp-json\/wp\/v2\/blog\/657329"}],"collection":[{"href":"https:\/\/blog.jetbrains.com\/de\/wp-json\/wp\/v2\/blog"}],"about":[{"href":"https:\/\/blog.jetbrains.com\/de\/wp-json\/wp\/v2\/types\/blog"}],"author":[{"embeddable":true,"href":"https:\/\/blog.jetbrains.com\/de\/wp-json\/wp\/v2\/users\/964"}],"replies":[{"embeddable":true,"href":"https:\/\/blog.jetbrains.com\/de\/wp-json\/wp\/v2\/comments?post=657329"}],"version-history":[{"count":3,"href":"https:\/\/blog.jetbrains.com\/de\/wp-json\/wp\/v2\/blog\/657329\/revisions"}],"predecessor-version":[{"id":662640,"href":"https:\/\/blog.jetbrains.com\/de\/wp-json\/wp\/v2\/blog\/657329\/revisions\/662640"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/blog.jetbrains.com\/de\/wp-json\/wp\/v2\/media\/662618"}],"wp:attachment":[{"href":"https:\/\/blog.jetbrains.com\/de\/wp-json\/wp\/v2\/media?parent=657329"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/blog.jetbrains.com\/de\/wp-json\/wp\/v2\/categories?post=657329"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/blog.jetbrains.com\/de\/wp-json\/wp\/v2\/tags?post=657329"},{"taxonomy":"cross-post-tag","embeddable":true,"href":"https:\/\/blog.jetbrains.com\/de\/wp-json\/wp\/v2\/cross-post-tag?post=657329"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}