GPT-6 Astraの性能は何が違う？前モデル・Claudeとの比較で読む強みと限界

OpenAIは9月3日、GPT-6 Astraを発表しました。画面を操作する能力や開発作業の評価に改善が見られますが、「あらゆる仕事で前モデルやClaudeを上回った」とまとめると、実際の違いを見失います。OpenAIの発表

今回知っておきたいのは、どの課題で差が出たのか、第三者の評価でも確かめられているのか、何がまだ弱いのかです。公式の比較表、評価機関の測定、先行利用者の報告を照らし合わせると、Astraの強みと評価が分かれる理由が見えてきます。

本稿は9月3日の重要発表を深掘りした記事です。日次の調査対象は9月4日8時〜5日8時（日本時間）、情報確認は9月5日。発表の正確な時刻は未確認です。Link AIによる実機テストではなく、公開資料を比較・分析しています。

まず、何が発表されたのか

Astraは、OpenAIの新しい基盤モデルです。発表ではコンピューター操作、コーディング、専門的な作業などを改善点として掲げています。提供は限定された組織から始まり、ChatGPTのPlus・Pro・Business・Enterprise、APIなどへ順次広げる計画です。Enterpriseでは公開当初、管理者による有効化が必要とされています。公式発表・提供範囲

モデルの性能と、ChatGPTやCodexに備わる操作・連携機能は分けて考える必要があります。複数の作業を続けて実行できるという説明だけでは、今回の更新で何が良くなったかは分かりません。そこで、前モデルのGPT-5.6 Solとの差から見ていきます。

公式評価で伸びが目立つのは、画面操作と一部の開発課題

以下はOpenAIが掲載した評価値です。伸び幅が大きい項目と小さい項目を合わせて抜き出しました。

出典：OpenAIの評価表と脚注。各項目は推論設定の中で最大のスコアです。研究環境・APIでの測定を含み、システム指示や利用できるツールが異なるChatGPTで同じ結果が出ることを保証する値ではありません。

ScreenSpot-Proは、専門ソフトの高解像度の画面から操作対象を特定する評価です。Terminal-Benchは、端末を使ったコードの作成・修正、環境設定などを扱います。どちらも今回、前モデルとの差が大きく出ています。ScreenSpot-Proの論文、Terminal-Benchの制作参加者による説明

一方、開発を評価する別の試験であるDeepSWEでは差が小さい。同じ「コーディング能力」でも、測る課題によって改善の大きさが異なります。

ここから読めるのは、既存の操作・開発タスクをこなす能力の改善です。 「作業をつなげるようになった」「開発が初めてできるようになった」という説明では、この更新の特徴を捉えられません。また、AutomationBenchの23.3ポイント上昇を、そのまま企業の生産性や削減時間へ換算することもできません。

第三者評価では、Claudeとの差をどう見るべきか

独立した評価機関Artificial Analysisは、9月3日のCoding Agent Indexで、Codex上のAstraを67、Claude Code上のFable 5.1を70と報告しました。Astraは有力モデルと競る水準ですが、この試験の首位ではありません。モデルに加え、実行するエージェント環境も含めた比較です。Artificial Analysisの実測報告

Terminal-Benchの制作に参加するSnorkel AIの公開表でも、Astraは58.2%（±2.8）、Fable 5.1は57.9%（±3.8）と僅差です。こちらは両者max設定、実行環境はCodexとClaude Code。公式発表表とは別の測定なので数値を混ぜず、表記された幅も含めて読むべき比較です。Snorkel AIの公開結果

総合評価は、翌日の改訂で見え方が変わった

9月3日の同機関のIntelligence Indexでは、AstraとSolは丸め値でともに61でした。しかし9月4日、指標がv4.2へ改訂されます。新版ではAstraがSolを4ポイント上回り、Fable 5.1に続く位置になりました。9月3日の評価、9月4日のv4.2改訂

改訂では、複数の資料や関連タスクを扱うAA-Briefcase、大量のPDFを読み解くGDP.pdfなどが加わりました。飽和した科学知識試験を外すなど、課題の構成が変わっています。v4.2の変更内容

これは、同じモデルの評価でも、何を重く測るかによって結論が変わる例です。古い総合点だけで「前モデルと変わらない」とするのも、新しい順位だけで「どの能力も上」とするのも不十分です。

文書を読み解く評価と、成果物全体の評価も分かれる

v4.2の発表では、次の違いも確認できます。

GDP.pdfの主指標は、課題の採点条件をすべて満たした割合です。「文書の33.2%しか読めない」という意味ではありません。AA-Briefcaseは、タスクの達成に加え、分析の質や提示の質も評価します。指標の説明と結果

さらに9月3日の分析では、AstraはAA-Briefcaseの分析品質が上がる一方、提示品質の評価はSolから下がったと報告されています。Artificial Analysisの項目別分析

文書から正しく情報を取り出すことと、見やすく説得力のある成果物に整えることは、同じ能力ではありません。「資料を扱う性能が上がった」から「社内向けの仕上がりも良くなる」へ話を広げず、どちらを評価した結果なのかを確かめる必要があります。

ARC-AGI-3の「99.9%」は何を示すのか

Astraで特に目を引くのが、未知のゲーム環境を探索し、ルールや目標を推定して解くARC-AGI-3の結果です。評価を実施したARC Prizeは、Semi-Privateで次の数値を公表しています。ARC Prizeによる結果と分析

同じmax設定でも、実行環境によって差が出ています。Standardではモデルが選んだメモを引き継ぎます。Provider Adapterでは、提供元の機能を使って推論の状態を保持し、長い会話を圧縮して、それまでの作業を再利用できます。ARC Prizeの評価方針

注目したいのは、スコアだけでなく観察された振る舞いです。ARC Prizeは、Astraがゲームの配置や操作ルールを簡潔な記号に整理し、計画に使う様子を報告しています。似た行動は他モデルにもあるとしたうえで、メモの精密さと情報密度を特徴に挙げています。ARC Prizeの行動分析

この結果は、モデルの能力と、その能力を継続的に使える実行環境を一緒に評価する必要性を示します。ただし、範囲とルールが定まったゲームの成果です。ARC Prize自身も、これをAGI達成の証明とは位置付けていません。評価の範囲と限界

先行利用者は「以前つまずいた課題」をどう評価したか

ChatPRDのClaire Vo氏は、先行アクセスでAstraを使い、SolやFableで繰り返しうまくいかなかった課題が進んだと報告しています。挙げているのは、ChatPRDの製品情報を扱う機能、3Dゲーム、ハードウェア関連の開発などです。Claire Vo氏の利用報告

この報告で参考になるのは、「AIで開発できた」という一般的な話ではなく、同じ利用者が以前から試していた課題との比較がある点です。本人は長く取り組んできた機能が90%まで進んだことも紹介しています。完成・本番運用まで成功したとの意味には広げられません。本人による紹介

先行利用者の体験談は、ベンチマークでは見えにくい可能性を知る手がかりになります。一方、同条件で多数の試行を行った成功率の測定ではありません。第三者ベンチマークと個人の成功例は、役割の違う材料として読むのが適切です。

単価は上がった。では、一つの作業の費用はどうか

AstraのAPI標準料金は、100万トークンあたり入力10ドル・出力50ドルです。Solの入力4ドル・出力20ドルに対し、単価は2.5倍になります。キャッシュなどは別条件です。OpenAIの標準料金、Artificial Analysisによる価格比較

ただし、同じ作業を終えるまでに使う量も変わります。Artificial Analysisのコーディング評価では、Astraのmax設定はSolのmax設定に比べ、使用トークンが約3分の1となり、費用はほぼ同じでした。一方、9月3日時点の旧Intelligence Indexでは、1タスクの費用が約75%高い結果でした。評価ごとの費用分析

つまり、単価の倍率だけでも、ある試験の使用量削減だけでも、費用の判断はできません。これらはAPIを用いた特定の試験結果であり、ChatGPTの月額料金や、あらゆる業務の費用が同じ割合で変わるという話ではありません。

Astraの進化を、どこまで評価できるか

公開された結果を合わせると、Astraは、画面操作や一部の開発課題、文書読解、実行時の効率に改善を示しています。未知の環境を整理して解くARC-AGI-3の観測も、その能力を考えるうえで具体的な材料です。一方、Claudeが先行する評価や、前モデルから伸びない項目もあります。公式比較、第三者評価の更新、ARC Prizeの分析

Link AI編集部は、今回の発表を「新しく何でもできるようになった」と説明するより、従来つまずいていた課題を、どの条件ならより正確に、少ないやり取りで解けるのかを見直す更新として読むのが有益だと考えます。評価によって見え方が変わること自体が、モデル選びの判断材料です。

自社で重視するのが操作の正確さなのか、資料の分析なのか、見せ方なのか。その違いを分けてから比較すれば、単一の順位や目立つ数字に判断を預けずに済みます。

AIの導入候補や評価項目を業務に合わせて整理したい方は、Link AIのAIアセスメントをご覧ください。ご相談はこちら。