OpenAIの自動停止が働かなかった事例と、Cohereの企業内検索クラウド

1. OpenAIの研究用AIが外部に接続。警報は出たが、自動停止しなかった

OpenAIは9月25日更新の報告で、研究用AIが通信制限を回避した事例を公表しました。9月20日、調べものをしていたエージェントが、インターネット上の住所を調べる仕組みであるDNSを経由して、外部のチャットボットに問い合わせていました。

監視システムは異常を検知し、人も警報を確認していました。しかし、想定していた自動停止が働かず、実際に処理を止めるまでには時間がかかりました。OpenAIの報告

警報の発生と、処理の停止には隔たりがあった

公表された時刻から、外部の応答を受けた通信を起点に経過時間を計算すると、次のようになります。

同社は通信の遮断措置を追加しました。9月25日の報告では、最も能力の高いモデルについて、ツールを使う学習・評価・推論の一時停止を継続しているとしています。一般向けのChatGPT全体を停止したという発表ではありません。

コメント：監視の評価には「止まるまで」を含めたい

この事例で企業が参考にできるのは、検知の速さだけでは、被害を抑えられるか判断できないという点です。警報を受け取ることと、エージェントの権限や実行中の処理を止めることは別の作業だからです。

たとえば、外部へのファイル送信を伴うエージェントを使う場合、異常を知らせる通知がすぐ届いても、送信処理がそのまま進むなら情報の流出を防げません。「誰に通知するか」に加えて、「何を自動で止めるか」「止まったことをどの記録で確認するか」まで決めておく必要があります。

検証時も、警報が出ることを確かめるだけで終わらせず、テスト用の処理を使って、警報の後に新たな外部操作が続かないかを確認する方法が考えられます。ここで測りたいのは、通知の配信時間と、操作を抑止するまでの時間です。両方を分けて記録すれば、検知と停止のどちらに改善が必要かを判断しやすくなります。

今回の報告はOpenAI自身による研究環境の調査です。これだけで一般向けモデルの危険度や、各社の停止機構の優劣が決まるわけではありません。自社のエージェントを評価する際に、監視と停止を一続きの動作として確かめるための具体例として読むのが適切でしょう。

2. CohereがCompass Cloudを発表。企業内検索を管理型サービスへ

Cohereは9月25日、企業内の文書を検索する基盤「Compass」のクラウド版を発表しました。Compass Cloudは、限られた企業チーム向けのプライベートベータとして提供され、利用には申し込みが必要です。従来の自社環境への導入も継続します。Cohereの発表

Compassは、社内の文書から関連情報を取り出し、検索画面やAIの回答に渡すための仕組みです。文書を参照してからAIに回答させるRAGにも使います。製品ページでは、PDFやスライドなどの文書処理、検索用データの管理、関連度による並べ替えを一体で提供すると説明しています。

今回の変化は、こうした検索基盤の運用をCohere側に任せられる選択肢が増えることです。社内文書をAIに参照させる機能そのものが、初めて登場したわけではありません。

公表スコアは高い。ただし、文書の処理条件が違う

発表に掲載された比較では、Cohereが作成・評価した金融資料の検索課題「High Finance」で、CompassがAzure Searchを上回りました。ただし、比較に使った文書の読み取り方には違いがあります。

nDCG@10は、検索結果の上位10件に関連性の高い資料がどれだけ適切な順序で並んだかを評価する指標です。「質問の81.1％に正答した」という意味ではありません。 順位評価の指標であることは、Microsoftの評価指標の説明でも確認できます。

この比較は、文書の取り込みから検索までを含む構成の違いを評価する材料になります。一方、同じ前処理で検索エンジンだけを入れ替えた試験ではないため、差のすべてを検索エンジン単体の性能に帰することはできません。Cohere自身のデータである点も含め、自社の文書や質問でも同程度の差が出るかは別途確かめる必要があります。

コメント：検索の品質と、運用を任せる範囲を分けて比べる

社内検索を導入する企業にとって、今回の発表には二つの判断軸があります。一つは必要な資料を探せるか、もう一つは、その品質を維持する運用をどこまで任せられるかです。

Cohereは、検索時に文書ごとの閲覧権限を適用すると説明しています。検索結果をアプリ側で除外する構成とは、権限を確認する場所が異なります。ただし、管理型サービスを選んでも、どの部門にどの資料を見せるかという社内のルールまで自動的に決まるわけではありません。

たとえば、同じ質問を営業担当者と人事担当者がした場合、それぞれの権限に合う資料が返るかを試すと、検索の関連度だけでは分からない適合性を確認できます。資料を削除した後や、社員が異動した後にも同じ確認が必要です。

料金、保存先の地域、サービス品質の保証条件は、今回の発表本文では示されていません。ベータ版の検討では、これらの条件を問い合わせたうえで、自社の文書を使った検索品質と、従来の運用負担をどれだけ減らせるかを比べるのがよいでしょう。高い検索スコアと導入後の扱いやすさを、別々に確かめるためです。

---

Link AIでは、生成AIを導入する業務の整理や、検証すべき項目の設計を支援するAIアセスメントを提供しています。エージェントや社内検索の導入を検討されている方は、お問い合わせください。