「悩み段階で会社名を出す業界がある」は、私たちの誤読だった｜LLMO/GEO調査の数値を再検証したら主張が消えた

私たちは当初、「悩み段階でAIが会社名を出す業界と、出さない業界がある」という記事を企画していたが、根拠としていた数値が原データのどの切り口からも再現できなかった。再現可能な基準（定義リスト内の競合企業名の検出）で測り直すと、業界の差は消え、代わりに段階の差が2業界で揃って現れた。悩み段階では両業界とも競合の名前がほとんど出ず、比較検討段階では両業界とも出る。本稿は、その誤読の経緯と、測り直した結果をそのまま開示する。

企画の根拠だった数値が、原データに存在しなかった

当初の企画書には「印刷ECは悩み段階の12回答中10で会社名が出た。人材教育は9回答中1しか出なかった。業界によってAIの振る舞いが違う」という筋書きがあった。有形商材と無形サービスで買い手の距離感が違う、というもっともらしい説明も付けられそうだった。

執筆前の検証で、この「12回答中10」と「9回答中1」が原データから再現できなかった。段階別・クラスタ別・質問型別・AI別のいずれの切り口にも、該当する組み合わせが存在しない。経緯は特定できないが、企画段階で報告書の異なる集計を取り違えて転記したことが疑われる。どの集計をどう取り違えたのかは、記録が残っておらず追跡できない。

再現できない数値は使わない。これが私たちのルールであり、この2つの数値は使用不可として記録した。問題は、数値を捨てた後に主張が残るかである。

「会社名が出た」の判定基準を、再現可能な形で定義し直した

測り直すには、まず「会社名が出た」の定義が要る。今回は、事前に定義した企業リストとの照合結果（競合検出）を用いた。印刷ECは8社、人材教育・組織開発は11社のリストで、回答にリスト内の企業名が出たかどうかを機械的に判定する。手順が明確で、誰がやっても同じ結果になる。

この基準には限界がある。リストに載っていない企業が回答に出ても数えられない。したがって以下の数値は「回答に会社名が出た数」ではなく「定義リスト内の企業名が出た数」であり、実際の社名出現はこれより多い可能性がある。

対象は2つのクライアント個社調査で、いずれも72回答・3AI・各セルn=1である。比較には、質問文に社名を含まない無指名（recall）の回答だけを使う。社名を含む質問を混ぜると、聞いたから出たのか、聞かずに出たのかが区別できなくなるためである。

測り直すと、業界差は消え、段階差が残った

表1　印刷EC｜段階×質問型別の競合検出（無指名）

印刷EC個社調査（2026年7月22日）。3AI・各セルn=1のため件数表記とし、率には換算しない。競合検出は定義リスト8社との照合。

表2　人材教育・組織開発｜段階×質問型別の競合検出（無指名）

人材教育個社調査（2026年7月21日）。3AI・各セルn=1。競合検出は定義リスト11社との照合。2つの調査は同一の設計思想（クラスタ×段階×質問型／3AI／72回答）だが、対象業界・企業・段階構成が異なるため、表は調査別に分けた。

課題認識段階、つまり買い手がまだ悩みを話している段階では、印刷ECで21回答中4、人材教育で27回答中2しか競合が検出されなかった。どちらの業界でも低い。「悩み段階で競合の会社名が並ぶ業界」は、この基準では存在しなかった。

一方、比較検討段階では印刷ECで15回答中9、人材教育で18回答中14が検出された。どちらの業界でも高い。直前確認段階も、少数だが両業界とも3回答中3である。

つまり、動いているのは業界ではなく段階である。買い手の相談が検討の後半に進むほど、定義リスト内の競合名が出るという構造が、業界をまたいで揃っていた。私たちが業界差だと思っていたものは、再現できない数値が作った幻だった。

開示しておくべき列がもう1つある。同じ集計には自社（調査対象企業）の言及数もあり、課題認識段階では印刷ECで21回答中7、人材教育で27回答中0と、業界差があるように見える。だが本稿はこの列を比較に使わない。2つの調査の相談文は対象企業の事例を読み込んだ後に設計されており、自社の言及を押し上げる方向の過適合があるためである。競合検出は事前定義リストとの照合であり、この影響を受けにくい。業界差に見える数字が手元にあってなお使わない、という判断ごと開示しておく。

この段階差は、別の設計の実験とも整合する。会話継続実験では、相談が調達の形になるまで3AIとも業者名を出さなかった。設計が違うため数値を並べることはしないが、「段階が枠を開ける」という方向は一致している。

名指しで聞くと、競合が出なくなる段階があった

全段階を出したことで、企画時には見えていなかった挙動が1つ見つかった。印刷ECの直前確認段階では、無指名の質問では3回答中3で競合が検出されたのに、社名を含む指名の質問では9回答中0だった。

直前確認は、発注直前の最終確認にあたる相談である。社名を出して聞くとAIがその会社の話に集中し、競合を出さなくなる、という説明が考えられるが、機構は確認していない。観測として言えるのは、同じ段階でも質問に社名が入っているかどうかで、競合の見え方が反転していたことまでである。

ただしこれは1業界・各セルn=1の観測であり、人材教育側には直前確認の指名質問が存在しないため、再現の確認はできていない。挙動の記録として残す。

実務への示唆｜業界のせいにする前に、段階と基準を疑う

第一に、「うちの業界はAIに出やすい／出にくい」という話を聞いたら、その根拠がどの段階の質問で測られたかを確認する。段階を揃えずに業界を比べると、段階差が業界差に化ける。

第二に、「会社名が出た」の判定基準を確認する。定義リスト照合なのか、全社名の抽出なのか、それ以外なのか。基準が書かれていない比較は、そもそも検証できない。

第三に、悩み段階のコンテンツに会社名の露出を期待しない判断は、2業界で支持された。ただしこれは露出の話であり、悩み段階のコンテンツに価値がないという意味ではない。

第四に、自社の企画や仮説も再検証の対象にする。私たちは自分の企画書の数値を疑って検証したから、公開前に誤読に気づけた。疑わなければ、「業界差」という存在しない発見を公開していた。

この調査でわかっていないこと

企画時の数値の出所は特定できていない。「12回答中10」「9回答中1」がどの集計の取り違えだったのかは、記録が残っておらず追跡できない。再現不能という事実だけを確定した。

定義リスト外の企業は数えられていない。本稿の競合検出は、印刷EC8社・人材教育11社のリストとの照合であり、リスト外の企業が出た回答は検出されない。実際の社名出現はこれより多い可能性がある。

nの制約が大きい。各セルn=1であり、1件の増減で様相が変わる規模である。率に換算していないのはこのためである。直前確認段階はとくに、無指名が3回答しかない。

過適合の影響を排除できない。2つの調査の相談文は対象企業の事例を読み込んだ後に設計されており、自社の言及を押し上げる方向に働く。競合検出を抑えた可能性も否定できないが、対照となる非過適合シナリオが存在しないため検証できない。本文で自社言及の列を比較に使わなかったのはこのためであり、自社言及に見える業界差（7/21と0/27）が実在するかどうかは、本調査からは判定できない。

業界は2つである。段階差が他の業界でも揃うかは未検証であり、「業界差が存在しない」と一般化することもできない。本稿が言えるのは、この2業界・この基準では業界差が観測されず、段階差が観測された、というところまでである。

因果は検証していない。段階が進むと会社名が出るという観測であり、コンテンツや施策で悩み段階の露出を作れるかどうかは、この設計では何も言えない。

調査概要

表3　本稿で用いた調査

本稿の比較は無指名（recall）の回答のみを用いた。企画時に根拠としていた「印刷EC12回答中10」「人材教育9回答中1」は原データから再現できず、使用不可として確定している（2026年8月16日）。

クライアント関与の開示：2つの調査はいずれも、筆者が支援するクライアント企業の個社診断である。対象企業は匿名とし、業界名のみを記載した。相談文は対象企業の事例コンテンツを読み込んだ後に設計されており、この設計上の問題は別記事で開示している。

判定基準の版と対象範囲：本稿の「競合検出」は事前定義した企業リストとの機械的照合であり、5記述型の判定基準（v2.1／v2.2）は用いていない。