AI

AI コーディングエージェント向け Kotlin Benchmark のご紹介

エージェント型コーディングのベンチマークが実際のソフトウェア開発で身近になりつつあります。Kotlin チームにとっては、問題の解釈から検証に合格する解決策を生成するまでの一連の Kotlin タスクを AI エージェントがどれくらい確実に完了できるのか？というのが最大の疑問です。

当社はこの疑問を解決するための第一歩として、Kotlin のソフトウェアエンジニアリングタスクの AI コーディングエージェントを評価する JetBrains 公式ベンチマークである Kotlin Benchmark をリリースします。当社は Kotlin でさまざまなエージェントのパフォーマンスを評価し、日々の開発業務に近いタスクを使用してエージェントの構成を比較するための確実かつ公開された手法を開発者に提供することを目標としています。

ベンチマークのリリースに合わせて GitHub 上にベンチマーク用アセットを公開するとともに、評価結果を追跡できる公式リーダーボードを立ち上げることにしました。

GitHub でベンチマークを詳しく見る

リーダーボードで最初の結果を見る

Kotlin Benchmark の仕組み

Kotlin Benchmark の最初の公開イテレーションは SWE-bench 手法に基づいており、リポジトリレベルの Kotlin ソフトウェアエンジニアリングタスクに焦点を当てています。

Kotlin はすでに Kotlin_HumanEval や Kotlin_QA など、モデルによる言語の構文や中核となる概念の理解度を測定するのに役立つモデル中心の強力な評価アセットを備えています。Kotlin Benchmark は 別の側面から着目します。AI コーディングエージェントが既存の Kotlin プロジェクトで検証済みのソフトウェアエンジニアリングタスクをどの程度正確に完了できるかを検証するのです。

このデータセットにはアクティブなオープンソースリポジトリから収集した 105 件のエンジニアリングタスクが含まれています。それぞれのタスクでは、AI エージェントが実際の課題の説明を解釈し、プロジェクトのコンテキストを参照し、機能するパッチを生成しなければなりません。解決策はコンテナー環境内で厳格に検証され、タスクは生成された解決策が必須のテスト検証に合格した場合にのみ解決済みに設定されます。

環境セットアップやデータ収集に関する詳細については、手法のページをご覧ください。

最初の結果

最初の評価結果から、主要コーディングエージェントが現在の Kotlin ベンチマークタスクの大部分を完了できることが分かります。この結果はベンチマークの最初の公開イテレーションを反映したものであり、最新のモデルリリースはまだ含まれていません。すでに第 2 イテレーションを進めているところですので、新しい評価結果が追加され次第、リーダーボードを更新していく予定です。

この時点では Claude Code と Opus 4.7 xhigh の組み合わせが最高の結果を出し、105 件のタスクのうち 90 件が解決され、解決率は 85.71％ でした。JetBrains Junie と Opus 4.7 max（81.9%）および Codex と GPT 5.5 xhigh（81.9%）の組み合わせが僅差で続いています。

完全なリーダーボードは kotlinlang.org/benchmark をご覧ください。エージェントや構成の詳細を比較できます。

このベンチマークは、コーディングエージェントを評価するチームがベンダーの主張のみに依拠することなく Kotlin タスクの構成を比較するための共通の基準を提供します。このスコアはあくまで目安として提示しているものであり、すべてのコードベースについて保証するものではありません。実際の結果は、アーキテクチャ、内部 API、コーディング標準、ツール、検証プロセスによって異なります。

今後の予定

当社はオープンな姿勢を大切にしているため、このベンチマークをオープンソースの Multi-SWE-bench インフラストラクチャ上に構築し、すべてのデータセットとテストハーネスを一般公開しました。

当社はベンチマークを継続的な品質測定のパイプラインとして位置づけています。今後は以下の分野でこの枠組みを拡大していく予定です。

• Kotlin エコシステムの対応範囲を拡大: Android や Kotlin Multiplatform といった分野を含め、実運用での Kotlin の使用状況をタスクの組み合わせにより適切に反映し、より幅広いタスクの難易度に対応できるようにします。
• 評価指標を追加: テストの合格は正確さを示す便利な目安ではありますが、エージェント評価のごく一部に過ぎません。今後のイテレーションでは、コスト、パフォーマンス、保守性、コード品質についても評価していく予定です。
• エージェントとモデルの構成を追加: より多くの商用エージェント、エージェントとモデルの構成、オープンウェイトモデルを評価することで、チームがより幅広い構成を比較できるようにしていく予定です。

このベンチマークは公開されています。タスクを調査し、結果を比較し、当社が次に取り上げるべき Kotlin のシナリオをお聞かせください。

オリジナル（英語）ブログ投稿記事の作者：