淡いグラデーション背景に浮かぶ青いロボットのアイコンと、緑色のドットが並ぶグラフ風の図形

記事

GitHub Copilot、4つの改善でコストを削減——出力を削るより「やり直し」を減らす発想

GitHubは公式ブログで、GitHub Copilotのコスト効率を高めた4つの実装変更を公開しました。出力の圧縮や行番号表示の削除、プロンプトの短縮、バックグラウンド処理の通知方式見直しにより、タスク全体のコストを削減したといいます。

GitHubは公式ブログで、AIコーディングエージェント「GitHub Copilot」のコスト効率を改善した4つの実装変更を公開しました。個々のツール応答を短くするのではなく、タスク全体でかかるコストを見て最適化するという考え方が軸になっています。GitHub Copilot CLIを中心とした事例ですが、同じハーネスを使うCopilotアプリやコードレビュー機能にも効果が及ぶとしています。

「ローカルな指標のわな」という失敗事例

GitHubはまず、シェル出力を短縮するユーティリティ「RTK(Rust Token Killer)」を、自社のエージェント型コーディングベンチマークを使って検証した結果を紹介しています。RTKは個々の応答を圧縮できたものの、省略された情報が必要になった場合、モデルが元の出力を読み直したりコマンドを再実行したりする場面が増え、結果としてタスク全体のトークン消費や所要時間がかえって増えてしまったといいます。1回のツール呼び出しあたりのトークン数を最小化することは、必ずしも正しい目標ではないという教訓です。この結果を受けてGitHubは、効率化の効果は個々のツール応答ではなく、ユーザーのリクエストから最終的な結果が出るまでの一連のタスク全体で測るべきだという方針に転換したとしています。

4つの改善で生まれた効果

この教訓を踏まえてGitHubが実施した4つの変更のうち、特に効果が大きかったのが行番号表示の廃止です。ファイル内容を読み込むviewツールは、かつて編集ツールが行番号を使っていた名残ですべての行に番号を付けていましたが、現在の編集ツールはコード内容そのものを照合する方式に変わっており、番号は使われていませんでした。付与される番号自体は小さな情報量でも、セッション中に読み込むすべてのファイル・すべての行に繰り返し付くことで、積み重なると無視できない量になっていたといいます。この不要な表示を取り除いただけで、オフラインのベンチマークでは推論コストが約5%減少し、実際のCopilot CLIユーザーを対象にしたオンライン実験でも1人あたりの平均モデル推論コストが約3%下がったといいます。編集失敗率や成功率も許容範囲内に収まり、品質面での目立った劣化は確認されなかったとしています。

4つの改善それぞれが削減したAIクレジットの割合を示す横棒グラフ

画像引用元: GitHub Blog

ノイズの選択的な圧縮とプロンプトの見直し

ビルドやテスト、lintの実行結果には繰り返しの多いノイズが含まれやすい一方、git diffやcatのようなソースに近い出力、任意のコマンド結果には必要な情報が詰まっていることが分析からわかったといいます。GitHubはこの知見をもとに、ソースに近い出力はそのまま保持し、grepなどによる検索結果は情報を落とさずに再構成し、繰り返しの多いインストールやビルド、進捗表示だけを効果の大きい場合に限って選択的に圧縮する方式を採用しました。実際、当初はgit diff自体も圧縮対象にしていましたが、ベンチマークでエージェントが元の出力を読み直す挙動が確認されたため、この対象からは外したといいます。並行して、複数のエージェントを起動するtaskツールのプロンプトも、Copilot自身が繰り返し自分のプロンプトを書き直す「メタプロンプティング」の手法で半分程度に短縮しています。最初のオンライン実験では、独立したはずのカスタムエージェントが直列に実行されてしまう回帰が見つかり、一度実験を止めて振る舞いを検証するテストを追加したうえで、許可リストと禁止リストによる明示的な指示を「独立したエージェントは並列実行してよい。副作用には注意すること」という一文に置き換えて修正したという経緯も明かされています。

バックグラウンド処理の通知も効率化

複数のバックグラウンド処理が完了した際、これまでは完了通知を受け取った後に改めて結果を取得する追加のやり取りが発生していました。GitHubはこれを、完了した結果をまとめて1回のツール応答に含める方式へ変更し、平均的なトークン関連の使用量(AIクレジット換算)を約2.3%削減したとしています。モデルを賢くするのではなく、モデルがそもそもやらなくてよかった作業を取り除くという、地道な最適化の積み重ねが今回の成果につながっています。

開発者にとっての意味

GitHubはこれらの変更を、Copilot CLIだけでなくコードレビュー機能など同じハーネスを使う他の製品にも展開しているとしています。日常的にGitHub Copilotを使う開発者にとっては、体感できる速度や品質が変わらないまま、組織全体のAI利用コストが徐々に下がっていく可能性がある取り組みです。あわせてGitHubは、プロンプトや出力形式を変更する際には必ず挙動を検証するテストを用意すべきだという教訓も強調しており、AIエージェントを運用する他社にとっても参考になる事例と言えそうです。