AI検索での自社の見え方を測る方法｜ツールなしでできるLLMO/GEO測定の手順を公開する

特別なツールがなくても、買い手の相談文を設計してAIに投げ、回答を記録すれば、自社の見え方は測れる。必要なのは、無指名の質問、複数回の実行、AI別の記録という3つの原則と、集計で単位を混ぜないことである。本稿は、私たちが複数の業界調査で使ってきた手順を、失敗した点も含めてそのまま公開する。

何を測るかを先に決める。「出たか」だけでは足りない

測りたいものを先に言葉にする。多くの場合、知りたいのは「AIに聞いたら自社が出てくるか」だが、これは分解すると3つの別の問いになる。

1つ目は、そもそも企業名が挙がる質問なのか。買い手の相談が調達の形になるまで、AIが業者名を出さないことがある。2つ目は、挙がった中に自社が入るか。3つ目は、入ったとして何を語られているか。名前だけ挙がって何も語られない場合があり、名前が出たことと内容が語られたことは別の事象である。

この3つのどれを測るのかで、質問文も記録項目も変わる。決めずに始めると、「出た」という記録だけが残り、あとから何も言えなくなる。

相談文は、無指名で、買い手の言葉で、条件を明示して作る

質問文の設計には3つの原則がある。

第一に、社名を含めない。「◯◯社の評判は」と聞けば◯◯社の話が返ってくるのは当然であり、露出の測定にならない。社名を出す質問は、語られる事実が正確かを検査する用途に限る。

第二に、買い手が実際に使う言葉で書く。業界用語で聞けば業界向けの回答が返る。買い手は「LMS」ではなく「研修の管理が大変」と書く。相談文は、想定する買い手の購買ジョブ（何を済ませようとしているか）から作り、自社の事業構成から作らない。自社に有利な質問を作ってしまうと、測定全体が自社に有利な母数になる。

第三に、条件を明示的に振る。買い手の相談には、費用・地域・実績・体制といった条件が付く。私たちの実験では、条件を1つ変えるだけで挙がる企業も語られる内容も入れ替わった。地域の条件を足したときに登場した21社のうち、条件なしのときと共通したのは3社だけである。条件なしの1本だけで測ると、条件付きの相談での見え方はわからない。

同じ質問を3回、複数のAIで、日を分けずに実行する

実行時の原則は4つある。

第一に、各質問を3回実行する。AIの回答は同一条件でもぶれる。1回だけの結果は、そのときたまたま出た答えと区別がつかない。ただし3回でも率を語るには足りない。3回中2回を「67%」と書いてはいけない。件数のまま扱う。

第二に、複数のAIで測る。私たちの実験では、同じ条件を足したときに、あるAIでは実績の記述が消え、別のAIでは増えた。1つのAIの結果は他のAIを代表しない。そして測ったあとで合算しない。合算は、AI間で結果が食い違っているという最も重要な情報を消す。

第三に、1つの測定はまとめて実行し、実行日を記録する。時期をまたいで実行すると、モデルが更新された影響と、質問の条件を変えた影響が区別できなくなる。日をまたがざるをえない場合は、どの質問をいつ実行したかを残し、時期の違いを条件の違いとして扱わない。

第四に、記録は1行1回答で残す。実行日、AI名、質問文、回答の全文、登場した企業名をそのまま書き留める。登場企業は事前にリストを作って照合するのではなく、回答に出てきたものを全件記録する。事前リストと照合する方式では、リスト外の企業が記録から消え、あとから業界の順位表が作れない。

判定では、名前が出たかと、何が語られたかを分けて数える

回答を読んで記録する段階では、2つの層を分ける。

1つ目の層は、企業名が挙がったかどうか。これは機械的に数えられる。

2つ目の層は、その企業について何が語られたか。私たちは語られた内容を、実績・契約条件・手法・体制・特徴のみの5つの型に分類している。この分類を使う場合、「数量または固有名詞があれば実績、なければ特徴のみ」のように、切り分けの規則を先に文章で決めておく。決めずに読み始めると、判定が読み手の印象で揺れる。

引用元のURLを数える場合は、さらに注意が要る。AIによって引用元の返し方が違うため、回答本文からURLを拾うだけでは、引用をメタデータで示すAIの分を取りこぼす。取得方式を揃えられないなら、AI間で引用数を比較してはいけない。

私たちが実際にやった失敗が6つある

手順の誤りは、内容の誤りより気づきにくい。私たちが実際にやったものを挙げる。

1つ目、社名を出した質問での言及を「露出」として数えた。聞けば出るのだから、これは同語反復である。2つ目、集計の単位を混ぜた。1社だけURL単位で数え、他社を回答数単位で数えて同じ表に並べると、桁の違う数字が比較のように見えてしまう。3つ目、実行回数の違う調査を合算した。n=1とn=3では精度が違う。

4つ目、n=3の結果を率で示した。5つ目、引用が確認できないことを「引用されていない」と書いた。取得方式の側の問題で観測できていないだけかもしれず、観測できないことと存在しないことは区別して書く。6つ目、サイトを確認せずに「コンテンツが存在しない」と結論づけた。実際には存在していて、順位が低いだけだった。

いずれも、集計が終わった時点では正しい数字に見えていた。防げるのは設計と記録の段階である。

測った後は、条件と日付を付けたまま保管する

測定結果は「どのAIに、どの質問文で、いつ聞いたか」とセットでしか意味を持たない。この3つを外した瞬間、「AIに聞いたら出た」という検証不能な話になる。

結果を社内で共有するときも、条件を落とさない。「自社はAIに出ていない」ではなく「調達の形の質問で、このAIでは、この日に、挙がらなかった」と書く。次に測ったときに比較できるのは後者だけである。

そして、1回の測定から施策の効果を語らない。測れるのは現在の見え方であって、何かをすれば変わるかどうかは、変えた前後で測り直すまでわからない。私たちも因果はまだ検証できていない。

この手順でわかっていないこと

この手順は見え方の観測であり、施策の効果測定ではない。前後比較の設計をまだ持っていないため、「こうすれば変わる」に答える手順は本稿には含まれない。

判定の再現性に限界がある。5つの型への分類は規則を決めても人手の判断が残り、判定者が変われば揺れる部分がある。

手順の検証は2業界と限られた実験で行ったものである。本稿で例示した数値は人材教育・組織開発領域の実験によるもので、他の業界で同じ設計がそのまま使えるかは、業界ごとの購買行動に依存する。

モデルの更新に対して結果は固定されない。同じ手順で測っても、時期が変われば結果は変わりうる。定点観測として繰り返すことを前提にした手順である。

本稿の例示に使った調査

表1　例示の出典

例示した数値（地域条件で登場21社中、無条件時と共通3社）はこの実験による。5記述型の判定は判定基準v2.1（「価格」はv2.2で「契約条件」に改称）。集計母数555件は生データ558行から判定除外3件を控除した値。

調査対象企業はすべて匿名であり、本稿に企業名は記載していない。

本稿の手順は、私たちが業界調査で使っているものをそのまま記載した。手順の質問や、業界ごとの設計の相談は、AI検索の勉強会コミュニティで受け付けている。