名前は出たのに、何も語られない｜LLMO/GEOで「出た／出ない」だけを見る危うさ

AIの回答に自社の名前が挙がったとして、それは何を意味するのか。会計SaaS領域の240試行を調べたところ、社名が挙がっているのに、その企業について何ひとつ記述がない試行が14件あった。企業単位で数えると26件である。そしてこの26件はすべて、AIが検索を実行していない試行で起きていた。

「登場した」を数えるだけでは、実態が見えない

AI検索の測定では、まず「自社が登場したか」を数える。これは機械的に判定でき、報告もしやすい。だが登場した中身を見ると、状態がまったく違うものが同じ1件として数えられていることがある。

一方は、企業名が挙がり、その企業について何が提供され、どんな実績があり、どんな体制なのかが語られている状態。もう一方は、名前が列挙されただけで、その企業について1文も書かれていない状態である。

買い手から見れば、この2つは別物である。前者は判断材料になり、後者はならない。それでも出現率という指標は、両方を同じ1として扱う。

社名は挙がったが、記述が1件もない試行が14件あった

会計SaaS領域の無指名12シナリオ・240試行を対象に、回答に登場した企業と、その企業について書かれた記述を突き合わせた。記述は1件ずつ切り出して分類しており、全体で767件ある。

その結果、社名は挙がっているのに記述が1件も作られなかったケースが、14試行で見つかった。同じ試行で複数の企業に起きている場合があるため、企業単位で数えると26件になる。

内訳を見ると、大半は試行内の全社が名前だけだった。26件のうち24件がこれにあたる。たとえば2社の名前が挙がって、どちらについても記述がない試行や、3社が挙がって3社とも記述がない試行である。

残る2件は、同じ試行の中で扱いが分かれたケースである。1つは3社が挙がって2社には記述があり、1社だけが名前のままだったもの。もう1つは4社が挙がって3社に記述があり、1社が名前だけだったものである。同じ回答の中でも、語られる企業と語られない企業が分かれている。

表1　言及はあるが記述がない事象の分布（購買ジョブ別）

会計SaaS編 遡及判定（2026年8月11日判定、原データは2026年7月22日実施の240試行）。判定モデルは1つ。定義は「試行一覧の出現企業に社名が挙がっているが、その企業についての記述ブロックが1件も作られなかったもの」。試行数と企業×試行は別の単位であり、混在させて読んではいけない。企業の同定は企業マスタの判定パターンによる機械照合で、マスタ外の企業は対象外である。

注目すべきは、サプライヤー選定で1件も発生していないことである。買い手が業者を選ぼうとしている段階では、名前だけが挙がるという状態が起きていない。名前が挙がるときには、内容も伴っている。

逆に多いのは検証や解決策探索の段階である。買い手がまだ候補を絞り込む前の相談で、社名が例示的に列挙され、そのまま何も語られずに終わっている。

26件すべてが、検索が実行されていない試行だった

この26件には共通点があった。すべて、AIがその試行で検索を実行していない。

ここは正確に書く必要がある。26件のうち13件は、検索ツールを渡していない層で起きたものである。残る13件は、検索ツールを渡した層で起きている。渡したが、AIがその試行では検索を実行しなかったということである。

つまり、層の設定ではなく、実際に検索が動いたかどうかが分かれ目になっている。そして逆方向も成立している。検索が実行された試行では、言及された企業に必ず記述が作られていた。例外はなかった。

この対応関係は、判定基準でも扱いが分かれている。記述が作られなかったケースは「記述なし」として、記述型の充足を診断する対象から外している。分類できる中身がないためである。

検索を実行せずに社名だけが挙がるという状態が何を意味するかは、外からは断定できない。モデルの内部処理を観測しているわけではないからである。言えるのは、検索を伴わない回答では、社名が挙がっても内容が伴わないことがある、という観測までである。

もう1つ、この対応関係には実務上の含意がある。企業が自社の情報をウェブ上で整備しても、それが届くのは検索が実行される試行に限られる。検索が実行されない試行では、社名が挙がっても内容が伴わない状態が起きていた。どの質問で検索が実行されるかを知らないまま情報を整備すると、届かない場所に投資することになりかねない。

出現率だけを追うと、何を見誤るか

第一に、改善の実態を取り違える。出現率が上がったとき、内容が語られる登場が増えたのか、名前だけの登場が増えたのかが区別できない。後者であれば、買い手の判断材料は増えていない。

第二に、施策の効果を誤って評価する。名前だけの登場が多い状態は、検索を伴わない回答で起きやすい。ウェブ上の情報を整備しても、検索が実行されない試行には届かない可能性がある。

第三に、競合との比較を誤る。競合の出現率が高くても、その中身が名前だけの列挙であれば、実際の差は数字ほどではない。

第四に、段階を混ぜると見えなくなる。本稿の観測では、名前だけの登場は検証や解決策探索の段階に集中し、サプライヤー選定では起きていなかった。全段階を合計した出現率は、この構造を平らにしてしまう。

実務への示唆｜言及と記述を分けて記録する

第一に、測定の記録項目を2つに分ける。社名が挙がったかと、その企業について記述があったか。この2列を分けて持てば、あとから区別できる。

第二に、記述があった場合は中身も分類する。実績なのか、契約条件なのか、それとも評価語だけなのか。ここまで見て初めて、買い手の判断材料になっているかが分かる。

第三に、報告では単位を明示する。試行単位で数えたのか、企業単位で数えたのかによって数字が変わる。本稿でも14と26という2つの数字が出ており、どちらも同じ事象を別の単位で数えたものである。

第四に、検索の発動を記録する。検索が実行されたかどうかで、言及の性質が変わっていた。可能であれば、この情報も一緒に残しておく。

この調査でわかっていないこと

報告書の数値が再現できなかった。当初の報告書はこの事象を8試行としていたが、再現可能な定義で数え直すと14試行・26件だった。本稿では再現できた値のみを用いている。

判定モデルは1つである。会計SaaS領域の240試行を単一モデルで実行したものであり、他のAIで同じ現象が起きるかは測っていない。

領域は1つである。会計SaaS領域の観測であり、他の業界で同じ分布になるかは未検証である。

企業の同定は機械照合による。事前に登録した企業の判定パターンとの照合であり、パターンに含まれない企業が回答に挙がっていても検出されない。実際の言及はこれより多い可能性がある。

因果は検証していない。検索の実行と記述の有無に対応関係が見られたが、検索が実行されたから記述が作られたのか、別の要因が両方を動かしているのかは分からない。

モデルの内部処理は観測していない。検索を実行せずに社名を挙げた状態が、モデルの中で何に基づいているかは、外からは確認できない。

調査概要

表2　本稿で用いた調査

本稿の集計は2026年8月16日に原データから機械集計したもの。試行数14と企業×試行26は別の単位であり、同じ表・同じ文の中で足し合わせてはいけない。

判定基準の版と対象範囲：記述の分類は判定基準v2.1による（「価格」はv2.2で「契約条件」に改称）。記述が作られなかったケースは、同基準で記述型の充足診断の対象外として扱われる。調査対象企業はすべて匿名とし、企業名は記載していない。