「費用も教えて」と付け加えると、2つのAIで実績の話が消えた｜LLMO/GEOで合算値が危険な理由

買い手の相談文に費用の条件を1つ足すと、AIが企業の実績に触れた記述は、ChatGPTで4件から0件、Geminiで3件から0件になった。ところがClaudeでは2件から8件に増えている。同じ条件を足して、2つのAIでは消え、1つのAIでは増えた。3つを合算すると9件から8件となり、この分岐は1つの数字の中に消えてしまう。

相談文の条件語だけを差し替え、他はすべて固定した

買い手の相談文には条件が付く。実績のある会社がいい、費用を抑えたい、近くの会社がいい、といったものだ。この条件を表す語だけを差し替え、業種も課題も依頼の形も同一にして、AIの回答がどう変わるかを測った。

用意したのは、条件を何も付けない統制群と、実績×規模・費用・地域・体制・手法の5条件である。これをChatGPT・Claude・Geminiの3つに各3回ずつ実行した。対象領域は人材教育・組織開発である。

数えたのは、AIが企業について語った記述を型に分類した件数である。型は実績・契約条件・手法・体制・特徴のみの5つで、1件につき1つの型を割り当てる。

本稿はすべてAI別に示す。3つを合算した値は集計シートに「参考値。AI間で挙動が異なるため主報告には使わない」と明記されており、実際この記事はその理由を扱っている。

条件に対応する型は、3つのAIすべてで増えた

表1　条件を足したときの、対応する型の件数（無条件時→条件あり）

条件別推薦実験（2026年8月11日）。人材教育・組織開発領域。単位は記述ブロックの件数。各セルn=3のため件数表記とし、率には換算しない。地域条件は5つの型の中に対応する型がないため、この表には含まれない。

ここまでは予想どおりである。費用を聞けば費用の話が増え、体制を聞けば体制の話が増える。増え方の大きさはAIによって違うが、方向は3つとも同じだった。

もう1つ、この表からわかることがある。無条件時の件数はAIによって大きく違う。Claudeは無条件時の記述が全体に少なく、条件を足すと大きく伸びる。ChatGPTとGeminiは無条件時からある程度語っている。出発点が違うため、増加の幅をAI間で比べることにはあまり意味がない。

問題は、増えた分だけ何かが減っているのかどうかである。ここから先で、3つのAIの挙動が割れる。

費用を足すと、2つのAIで実績が消えた

表2　費用条件における記述型の件数（AI別）

各セルn=3。3AIの合算値は用いていない。

ChatGPTは実績が4件から0件になった。契約条件が3件から26件に増えているので、費用の話が回答を占めたぶん、実績の話が出なくなったように見える。Geminiも同じで、実績は3件から0件、契約条件は2件から19件である。

ところがClaudeは違う。実績が2件から8件に増えている。契約条件も0件から4件に増えているが、増え方は他の2つよりはるかに小さい。費用を聞かれたときに、Claudeは価格そのものより、どんな実績があるかを語る方向に振れている。

同じ条件語を足して、2つのAIでは実績が完全に消え、1つのAIでは4倍になった。「費用を聞かれると実績が語られなくなる」という一文は、3つのうち2つでは正しく、1つでは逆である。

これは費用条件だけの現象ではない。体制を条件に足したときも、ChatGPTの実績は4件から0件になっている。一方でClaudeは2件から7件に増え、Geminiは3件のまま変わらなかった。同じ条件でも、消えるAI、増えるAI、動かないAIが並んでいる。

合算すると、この分岐は「ほぼ横ばい」に見える

表3　費用条件における実績の件数

合算行は集計シートで参考値と明記されているもの。本稿では、合算が何を隠すかを示す目的でのみ掲載しており、主張の根拠には用いていない。

合算すれば9件から8件で、ほとんど変わっていないように見える。この数字だけを見た人は「費用を聞いても実績の話は減らない」と結論するだろう。

実際に起きていたのは、2つのAIでの消失と、1つのAIでの増加である。方向の違う3つの動きが打ち消し合って、変化がなかったかのような数字になっている。

合算値は、AI間で挙動が揃っている場合には要約として使える。揃っていない場合には、揃っていないという最も重要な情報を消す。どちらであるかは、AI別に見るまでわからない。

手法を足すと、契約条件の記述は3AIとも0件になった

分岐しなかった例もある。手法を条件に足したとき、契約条件の記述はChatGPT・Claude・Geminiのいずれも0件だった。無条件時のChatGPT3件とGemini2件が0件になり、もともと0件だったClaudeは0件のままである。消えたAIと、最初から語っていなかったAIがあるが、結果としては3つとも0件で揃った。

これは3つのAIで揃った観測である。買い手が手法を尋ねると、金額の話は回答から外れる。少なくともこの実験の範囲では、例外がなかった。

逆に言えば、条件が対応しない型の記述が減るという現象自体は存在する。ただしそれがどの型で起きるかは、AIによって揃ったり揃わなかったりする。費用条件の実績のように割れることもあれば、手法条件の契約条件のように揃うこともある。

つまり「対応しない型は押し出される」を一般法則として語ることはできない。押し出されたケースと、押し出されなかったケースが同じ実験の中に並んでいる。どちらが起きるかは、条件と型とAIの組み合わせごとに測るしかない。

実務への示唆｜型を1つに賭けない

第一に、自社の強みが1つの型に集中している場合、その型が語られない条件があることを前提にする。実績が強みでも、費用を聞かれた相談では2つのAIで実績が語られなかった。買い手がどんな条件を付けるかは選べない。

第二に、単一のAIで測って全体を判断しない。同じ条件で結果が逆になる以上、1つのAIの結果は他のAIの結果を代表しない。

第三に、複数のAIを測ったあとで合算しない。合算は、AI間の食い違いという最も重要な情報を消す。手間はかかるが、AI別に並べたまま読むしかない。

第四に、「AIに聞いたら実績が語られなかった」という報告を受け取ったら、どの条件で聞いたかとどのAIかを確認する。条件とAIの組み合わせを書かない測定結果は、解釈ができない。

この調査でわかっていないこと

なぜ分岐したのかはわかっていない。ChatGPTとGeminiで実績が消え、Claudeで増えた理由は測っていない。モデルの応答方針の違いか、学習の違いか、質問文との相性かを切り分ける設計にはなっていない。

押し出しの因果は検証していない。契約条件が増えたから実績が減った、という関係を確かめたわけではない。同時に観測されただけであり、回答の分量に上限があって奪い合いが起きているのか、別の理由なのかはわからない。

nの制約がある。各セルn=3である。0件と8件の違いは大きいが、試行数は3回にすぎない。同じ実験を繰り返したときに同じ分岐が出るかは確かめていない。

ゼロの範囲を限定しておく。本稿で0件と書いたのは、この実験のこの条件でその型の記述が確認されなかったという意味である。他の条件や他の調査でも起こらないことを示すものではない。

業界は1つである。人材教育・組織開発の実験であり、他の業界で同じ分岐が起きるかは未検証である。

検索エンジンとの比較はしていない。同じ条件語を検索エンジンに入れたときの挙動は測っていないため、AI検索に固有の現象かどうかは言えない。

調査概要

表4　本稿で用いた調査

ブロック数が本実験54試行のみに由来するか、パイロット6試行を含むかは集計上特定できない。

判定基準の版と対象範囲：5記述型の判定は判定基準v2.1で行っている。当時の型名は「価格」で、v2.2で「契約条件」に改称されたため本稿では改称後の名称を用いるが、実際に判定されたデータは金額を中心とするものである。集計母数555件は、生データ558行から判定除外3件を控除した値である。

調査対象企業はすべて匿名とし、企業名は記載していない。件数は実測値である。