調査対象のサイトを読んでから質問を作ると、そのサイトが引用される｜LLMO/GEO調査の信頼性はシナリオ確定の時点で決まる

私たちのクライアント個社調査で、対象企業の事例ページがAIの回答に引用され、その相談文に含めた数値が、引用された事例ページの記述と一致していた。これは調査の成果ではなく、調査の失敗である。対象企業のコンテンツを読んでから相談文を設計すれば、相談文はそのコンテンツに寄り、寄った質問がそのコンテンツを呼び出す。同語反復に近い構造であり、以降の業界調査では、シナリオを対象サイトの調査前に確定する方式に変えた。

「事例が引用された」という良い結果が、設計の失敗から出ていた

印刷ECの1社を対象とした個社診断で、社名を含む指名質問への回答が、対象企業の導入事例ページを引用した。クライアントに報告すれば喜ばれる結果である。

だが検証の過程で、相談文に含めていた具体的な数値が、引用された事例ページの記述と一致していることが確認された。相談文は、対象企業の事例コンテンツを読み込んだ後に設計されていた。つまり、事例に書かれていた数字が相談文に入り込み、その相談文が事例を呼び出していた。

この調査の指名質問は12回答中12回答で自社が言及されている。同じ設計思想の人材教育・組織開発の個社診断でも、指名質問は18回答中17回答だった。この高さの少なくとも一部は、聞けば出るという指名質問の性質に、質問が答えに寄せて作られていたという設計の問題が重なったものである。両者の寄与は分離できない。

念のため書いておくと、この一致は外部からの指摘ではなく、内部の検証で確認されたものである。確認できたから公開できているのであって、確認されていなければ、この数字は今も健全な測定結果として扱われていたはずである。

質問がコンテンツに寄る経路は、意図しなくても発生する

調査者に不正の意図はなかった。買い手のリアルな相談文を作ろうとして、対象企業の事例を参考にした。事例には実在の課題と数字が書かれており、それを使えば相談文はもっともらしくなる。善意の手順が、そのまま過適合の経路になっている。

AIの検索は、質問文と文書の一致度で候補を選ぶ。質問文が特定のページの語彙と数字を含んでいれば、そのページが選ばれやすくなるのは自然な帰結である。ただし、本件でこの機構が実際に働いたことを直接確認したわけではない。確認できているのは、数値の一致と設計の順序だけである。

重要なのは、これが結果からは見えないことである。報告書に載るのは「事例ページが引用された」という事実だけで、相談文がいつ、何を読んだ後に書かれたかは載らない。読者にも、クライアントにも、場合によっては調査者自身にも、結果は健全に見える。

この見えなさは、AI検索調査に固有のものではない。アンケート調査の誘導質問や、機械学習のデータリーク（テストデータの情報が学習に混入する問題）と同じ構造である。違いは、AI検索調査がまだ新しく、この種の作法が業界で共有されていないことだ。誘導質問には調査業界の点検手法があるが、AI検索の相談文設計には、まだそれに相当する標準がない。

シナリオをいつ確定したかが、調査の信頼性を決める

この経験から、私たちは調査の信頼性を分ける線を1つ引いた。相談文（シナリオ）を、対象サイトを調べる前に確定したか、後に作ったかである。

後に作った場合、相談文が対象コンテンツに寄る経路が開いている。寄った度合いは測れないため、その調査の「引用された」「言及された」という結果は、実力と設計の混合物になる。

前に確定した場合、この経路は閉じている。私たちの業界調査では、シナリオを業界の購買行動から設計し、対象企業のサイトを調べる前に固定した。人材教育・組織開発編の業界調査では、相談文を対象10社の選定より前に確定している。会計SaaS編でも、対象10社の各社サイトを調べる前にシナリオを確定した。

確定の時点を記録しておけば、第三者があとから検証できる。逆に、確定時点の記録がない調査は、過適合の有無を誰も確かめられない。

なお、事前確定は過適合への手当てであって、その調査に他の限定がないことを意味しない。たとえば人材教育・組織開発編の業界調査には、対象企業の選定基準に関する別の限定があり、それは当該調査を扱う記事で開示している。信頼性は1つの手続きで担保されるものではなく、限定を1つずつ開示していくものである。

他社の調査やツールのレポートを読むときの確認点

第一に、質問文がいつ設計されたかの記載を探す。対象サイトの分析より前か後か。書かれていなければ、その調査の言及率・引用率は過適合を含みうる数字として読む。

第二に、質問文そのものが公開されているかを見る。質問文が非公開の調査は、質問が対象に寄っていないかを検証する手段がない。

第三に、「自社サイトの分析とセットになった測定サービス」には構造的な注意が要る。分析で対象サイトを読み込んだ後に測定の質問を作る手順になっていれば、意図がなくても本稿と同じ経路が開く。測定と分析の順序を確認する。

第四に、良すぎる結果を疑う。指名質問での高い言及率や、特定ページの高い引用率は、実力の証明ではなく設計の産物である可能性がある。

自社で測るときの手順

順序を1つ守るだけでよい。相談文を先に書き、確定してから、対象サイトや競合サイトを調べる。手間もツールも要らない。要るのは順序の規律だけである。

相談文は、サイトの語彙ではなく買い手の購買ジョブから作る。何を済ませたくて相談するのかを言葉にすれば、特定のページに寄らない相談文になる。数字を入れたい場合は、実在のページから引くのではなく、想定する買い手の規模感（従業員数、予算帯など）を自分で置く。

確定した相談文には日付を付け、以降変更しない。変更が必要になったら、変更前の版と変更理由を残す。この記録があれば、結果に疑義が出たときに、質問が結果に寄せられていないことを自分で示せる。

すでにサイトを深く知っている自社サイトの測定では、この分離は完全にはできない。その場合は、相談文に自社サイト固有の語彙や数字が入っていないかを、第三者に確認してもらうのが次善である。

この調査でわかっていないこと

過適合の寄与量は測れていない。数値の一致と設計の順序は確認できたが、質問がコンテンツに寄ったことで言及や引用がどれだけ増えたかは、寄っていない質問との比較実験をしていないため定量できない。

検索の一致機構が働いたことの直接確認はしていない。質問文と文書の一致度が引用を決めたという説明は、機構としてもっともらしいが、本件で実際にそうだったことを内部的に検証する手段はない。

確認された数値一致の実例は印刷EC調査の1件である。人材教育・組織開発の個社診断は同じ設計順序だが、数値一致の実例までは確認されていない。

シナリオ事前確定方式の調査が過適合を完全に防げているかも、厳密には検証できない。設計者が業界に詳しいほど、事前確定した相談文にも業界の有力コンテンツの語彙が入り込む余地は残る。防げているのは、特定の対象企業への意図しない寄せである。

nとモデルの制約がある。本稿で引いた言及数（12回答中12、18回答中17）は、いずれも各セルn=1のクライアント個社診断の値である。3AIで実行しているが、AI別の内訳は本稿では扱っていない。1シナリオ1回答の設計であり、同じ質問を繰り返したときのぶれは測っていない。

調査概要

表1　本稿で言及した調査

本稿は設計手順の開示が主題であり、各調査の測定結果の数値は指名質問の言及数（12回答中12、18回答中17）のみを用いた。

クライアント関与の開示：印刷EC・人材教育の個社調査は、いずれも筆者が支援するクライアント企業の個社診断である。対象企業は匿名とし、業界名のみを記載した。本稿で扱った設計上の問題は、クライアントではなく調査者である私たちの側の失敗である。

判定基準の版と対象範囲：本稿は調査設計の手順を扱っており、5記述型の判定基準（v2.1／v2.2）は用いていない。