エージェントを増やす価値はあるか。Vals AIの比較研究とkintoneの利用量可視化
1. エージェントのチーム化は、追加費用に見合うのか
AI評価会社のVals AIは10月9日、GPT-6 SolとClaude Opus 5.5にWebアプリを作らせ、単独で動かす場合と複数のエージェントに分担させる場合を比較した研究を公表しました。チーム化で費用は増えましたが、成果の改善はモデルと設定によって異なっています。
同じ課題でも、改善が確認できた条件は限られた
試験には、仕様に沿って50種類のWebアプリを作る「Vibe Code Bench」を使用しました。スコアは、できあがったアプリの画面を操作するテストの通過率です。AIに考えさせる量をmediumとmaxの2段階に設定し、それぞれで単独とチームを比べています。
4組の比較でチームの費用は単独の1.8〜5.1倍となり、統計的に有意なスコア改善を確認できたのはGPT-6 Solのmediumだけでした。代表的な2組の結果は次の通りです。
| モデル・推論設定 | スコア：単独 → チーム | 平均費用／アプリ：単独 → チーム |
|---|---|---|
| GPT-6 Sol・medium | 77.6% → 84.9% | 1.22ドル → 3.07ドル |
| Claude Opus 5.5・max | 89.8% → 93.2% | 23.77ドル → 122ドル |
出典：Vals AIの比較研究。Opusの上記スコア差は統計的に有意ではありません。各構成は各アプリで1回の実行であり、繰り返し実行した際のばらつきまでは測っていません。チーム側だけに分担を促す指示も加わっています。モデルごとに実行環境も異なるため、表をモデル単体の優劣として読むことはできません。Solの費用計算には、長い入力への割増料金を反映できていないという制約もあります。
コメント：「チームは無駄」と片付けると、改善した条件を見落とす
この結果から、エージェントを増やせば必ず品質が上がるとは言えません。ただし、「チーム化に意味はない」と言い切るのも行き過ぎです。Solのmediumでは、費用増と引き換えにスコアが改善しました。一方、Opusのmaxでは、費用の大幅な増加に見合う改善をこの試験では確認できませんでした。
ここでいう「有意ではない」は、効果がゼロだと証明したという意味ではありません。今回の課題数と測定方法では、スコアの差を確かな改善と判断するだけの証拠が得られなかった、という読み方になります。
企業が開発用エージェントの構成を選ぶ場合も、最高スコアだけで決めると、追加費用を見落とします。たとえば、社内ツールで必須とする操作が単独構成ですでに動いているなら、チームにして改善した項目が本当に必要なのかを確かめる必要があります。逆に、欠けていた重要な機能がチーム構成で安定して動くようになるなら、追加費用を払う理由になります。
判断には、費用と品質に加えて完成までの待ち時間も関わります。夜間に仕上がればよい仕事と、担当者が結果を待って次へ進む仕事では、時間短縮の価値が違うためです。何人のエージェントを使ったかではなく、必要な成果を、許容できる費用と時間で得られたかを比較することが、この研究を自社の選定に生かすうえで大切です。
2. kintoneがAI利用量を可視化。クレジットの月間上限も確認可能に
kintoneは10月11日の更新で、利用状況ダッシュボードにAIの利用状況を確認するページを追加しました。対象はスタンダードコースとワイドコースです。
新たに確認できるのは、次の情報です。
- •AI機能を使った人数と利用回数
- •AIクレジット使用量の推移
- •月ごとの累計使用量と上限
今回の更新では、ダッシュボードを表示するための事前の有効化設定も不要になりました。kintoneシステム管理のリンクから開けます。kintoneの公式更新案内
コメント：利用が広がったのか、消費だけが増えたのかを切り分ける
この変更の利点は、AIの利用人数とクレジット消費を一緒に確認できることです。消費量だけが増えた場合と、使う人も増えた場合とでは、担当者が次に確かめることが変わります。
たとえば、利用人数がほとんど変わらないのに消費が急増した場合は、既存の利用者が使い方を変えた可能性があります。一方、利用人数も増えているなら、社内で活用が広がった影響かもしれません。いずれも数字だけで原因は断定できませんが、利用者への聞き取りで何を確認するかを絞れます。
月間上限との比較は、残りの利用枠を管理する材料になります。ただし、上限まで使うこと自体を活用の目標にすると、成果を伴わない利用も評価してしまいます。 同じ資料を何度も生成し直したケースと、一度の生成で業務に使えたケースでは、回数が多い方が優れているとは限りません。
そのため、導入効果を判断したい担当者は、このダッシュボードを利用の広がりと消費の把握に使い、成果物が使えたか、確認や修正にどれほど時間がかかったかを業務側で確かめるとよいでしょう。今回の追加機能で見えるのは利用状況です。成果との関係まで自動で判定する機能として受け取らないことが、数字を運用改善につなげるために欠かせません。
Link AIのAIアセスメントでは、生成AIを任せる業務の整理や導入効果の検証を支援しています。費用と成果の測り方を整理したい方は、お問い合わせからご相談ください。