Developer Productivity AI Arena 출시: AI 코딩 에이전트 벤치마킹을 위한 개방형 플랫폼
지난 25년 동안 JetBrains는 여러 프로그래밍 언어에 걸쳐 소프트웨어 개발 환경을 조성하고 개발자와 조직이 소프트웨어를 구축하는 방식을 지속적으로 개선하는 데 전념해 왔습니다. 그 과정에서 생산성과 개발자 경험을 향상시키는 데 꾸준히 중점을 두어 왔습니다.
AI의 등장으로 이제 가장 중요한 과제는 AI 지원 도구가 현실 세계에 가져다주는 효율성 향상을 측정하는 방법이 되었습니다. 이러한 과제를 해결하기 위해 JetBrains는 Developer Productivity AI Arena(DPAI Arena)를 만들어 Linux Foundation에 기여하기로 결정했습니다.
“AI 코딩 에이전트가 현대 소프트웨어 개발에 없어서는 안 될 부분이 되면서, 업계에서는 개발자 생산성에 미치는 실제 영향을 측정할 수 있는 투명하고 신뢰할 수 있는 방법이 시급해졌습니다. DPAIA는 다양한 언어, 프레임워크 및 환경에서 AI 지원 개발을 평가하기 위한 개방적이고 공급자에 얽매이지 않은 프레임워크의 역할을 합니다.
코딩 에이전트와 프레임워크 공급자가 이 작업에 참여하여 차세대 소프트웨어 개발을 정의하기 위한 벤치마크를 공동으로 개발하기를 바랍니다. 또한 에코시스템이 개방성, 신뢰성 및 측정 가능한 영향력의 기반 위에서 발전할 수 있도록 최종 사용자에게는 실제 작업 환경에서 AI 도구의 유용성을 검증하여 동참하도록 독려합니다.”
DPAI Arena는 실제 소프트웨어 엔지니어링 작업에서 AI 코딩 에이전트의 효율성을 측정하도록 설계된 업계 최초의 개방형 다중 언어, 다중 프레임워크, 다중 워크플로 벤치마킹 플랫폼입니다. 이 플랫폼은 유연한 경로 기반의 아키텍처를 기반으로 구축되어 패치 적용, 버그 수정, PR 검토, 테스트 생성, 정적 분석 등 다양한 워크플로를 공정하고 재현 가능한 방식으로 비교할 수 있습니다.
벤치마킹 재정의
현재의 벤치마크는 오래된 데이터 세트를 사용하고, 좁은 범위의 기술을 다루며, 이슈에서 패치까지의 워크플로에만 너무 좁게 초점을 맞추고 있습니다. AI 코딩 도구의 급속한 발전에도 불구하고, 업계에서는 여전히 개발자 생산성에 미치는 실제 영향을 측정할 수 있는 중립적인 표준 기반 프레임워크가 없습니다.
“JetBrains는 20년 이상에 걸쳐 수천만 명의 개발자가 비판적으로 사고하고, 자신감 있게 코드를 작성하며, 빠르게 혁신할 수 있도록 돕는 도구를 만드는 데 전념해 왔습니다. 이러한 역사를 기반으로 JetBrains는 AI가 현재 소프트웨어 개발 분야에 미칠 수 있는 잠재적 영향과 압박에 대해 고유한 이해를 갖고 있습니다. 그간 관찰한 바에 따르면, 팀은 코드 품질, 투명성, 신뢰성을 유지하면서 생산성을 개선하기 위해 노력을 기울이지만 이를 성과 벤치마크만으로는 모두 담아낼 수 없습니다.
Developer Productivity AI Arena는 AI 코딩 에이전트를 지속적이고 협력적으로 평가하고 개선하기 위한 명확하고 책임감 있는 접근 방식을 제공하고, 업계가 단순히 작업 속도를 높이는 AI와 작업 내용을 진정으로 이해하고 향상시키는 AI의 차이를 이해하고 측정할 수 있도록 돕는 데 목표를 두고 있습니다. 또한, AI 에이전트 벤치마킹을 위한 공통된 프레임워크를 정의함으로써 AI 시스템 전반의 투명성과 신뢰성을 증진하고자 합니다. “
DPAI Arena는 투명한 평가 파이프라인, 재현 가능한 인프라, 확장 가능한 커뮤니티 중심의 다중 경로 데이터 세트를 통해 이러한 공백을 메웁니다.
중요한 메트릭 측정
DPAI Arena는 AI 지원 소프트웨어 개발 분야에 측정 가능한 생산성을 제공합니다. AI 도구 공급자는 실제 작업을 기반으로 도구를 벤치마킹 및 개선할 수 있고, 기술 공급자는 도메인에 특정한 벤치마크를 제공하여 해당 에코시스템을 최고 수준으로 유지할 수 있으며, 기업은 도구를 채택하기 전에 이를 평가할 수 있는 신뢰할 수 있는 방법을 얻을 수 있고, 개발자는 어떤 도구가 생산성을 실제로 향상할 수 있는지에 대한 투명한 인사이트를 얻을 수 있습니다.
DPAI Arena는 모두가 AI 코딩의 미래에 기여할 수 있도록 하는 데 목표를 두고 있습니다. 이 플랫폼의 첫 벤치마크인 Spring Benchmark에서는 향후 기여를 위한 기술적 표준을 도입했습니다. 첫째, 데이터 세트 생성 지침을 구현하고 지원되는 평가 형식과 일반 규칙을 자세히 설명합니다. 둘째, 인프라 분리를 위한 견고한 기반을 제공하여 누구나 자신의 데이터 세트(BYOD 방식의 접근)를 사용하고 인프라를 재사용하여 자신만의 평가를 수행할 수 있습니다.
또한 DPAI Arena에서 Java 벤치마킹 스트림을 확장하기 위해 Spring AI Bench를 개발 중이며, Java 에코시스템 전반에 걸쳐 더 많은 다양성과 다중 경로 벤치마킹을 촉진하기 위해 프로젝트 핵심 팀과 긴밀히 협력하고 있습니다.
DPAI Arena 참여
JetBrains는 이 프로젝트를 Linux Foundation에 제공하여 플랫폼의 미래 방향을 결정하기 위한 다양하고 포괄적인 Technical Steering Committee의 설립에 기여할 계획입니다.
https://dpaia.dev/에서 이 플랫폼의 진행 상황을 확인하세요. 자세한 내용은 프로젝트 개요 또는 GitHub 조직을 참조하세요.
게시물 원문 작성자
Subscribe to JetBrains Blog updates
