「こうすればAIに出る」は、まだ誰も証明していない｜LLMO・GEOのエビデンスは観測止まりである

私たちはこのシリーズで、AI検索の挙動を6つの調査から報告してきた。そのすべては観測であり、施策を打って再計測した因果の検証は1件もない。「こうすればAIに出る」と言うために必要な検証は、私たちは行っていないし、公開されたものも確認できていない。本稿はシリーズの締めとして、観測でわかったことと、観測では言えないことの線を引き直す。

観測でわかったことは、確かにある

先に、わかったことを並べる。いずれも本シリーズの記事で根拠と限界を示したものである。

表1　シリーズの主な観測

各観測の設計・n・限界は、それぞれの記事に記載している。調査間で設計が異なるため、この表の数値を互いに比較してはいけない。

これらは、限られた範囲ではあるが方向の揃った観測であり、測定の手順も公開している。観測として、使える。自社の現在地を知る、測る場所を決める、社内の議論の前提を揃える。この用途に、因果の証明は要らない。

しかし、この一覧のどれひとつとして「こうすれば出る」を意味しない

観測が言えるのは「そうなっていた」までである。「そうすればそうなる」に進むには、企業側が何かを変え、その前後で測り直す必要がある。私たちの調査は6つとも、ある時点の輪切りである。

たとえば、語られる型の数が多い企業ほど登場が多いという段差は、シリーズで最も施策に翻訳したくなる観測である。だがこの段差は「よく登場する企業だから型が揃った」という逆向きでも、「規模の大きい企業は型も登場も多い」という第三の要因でも、同じ数字になる。しかも5つの型を満たしながら登場の少ない企業が現にいる。

実績の記述の91件中73件に数量が伴っていたという観測も同じである。ここから「数字を書けば実績として語られる」に進むには、数字を書いていなかった企業が書いた後の変化を測るしかない。誰も測っていないことは、起きないことを意味しないが、起きることも意味しない。

相関を因果として書かない理由は、倫理ではなく実利である

私たちが「こうすれば出る」と書かないのは、慎重さの演出ではない。因果として扱うと、投資判断を誤らせるからである。観測と因果の混同は、施策の選択そのものを狂わせる。

逆因果が真なら、型を埋める投資は登場を増やさない。第三の要因が真なら、投資すべきは型ではなくその要因である。どちらであるかを確かめずに「型を埋めましょう」と提案すれば、効かない施策に予算が流れ、効かなかったという結果すら測られない。

私たち自身、この線を越えかけたことがある。企画段階で、再現できない数値から「業界差」という主張を組み立てていた。検証して主張が消えた経緯は、別の記事で開示したとおりである。線は、越えようと思って越えるものではなく、疑わないだけで越えてしまうものだった。

因果を言うために必要な設計は、はっきりしている

必要なのは特別な技術ではない。第一に、施策の前に測る。第二に、変えるものを1つに絞る。第三に、変えない対照を持つ。同業で施策を打たない企業群、あるいは自社内で施策を適用しないページ群である。第四に、施策の後に、同じ質問文・同じ判定基準で測り直す。第五に、この設計を実行前に記録しておく。結果を見てから基準を動かせないようにするためである。

難しいのは技術ではなく時間と規律である。AIのモデルは更新されるため、前後の差がモデル更新によるものか施策によるものかを分けるには、対照群が同じ期間で測られている必要がある。1社だけの前後比較では、この分離ができない。効果が出るまでの期間も未知であるため、いつ測り直せば十分かも、やってみるまで決められない。

私たちはこの設計をまだ実行できていない。だから「こうすれば出る」を1件も書いていない。書けるようになるとすれば、この設計を通した後である。

断定的な言説が多いのは、断定に市場があるからだと考えている

AI検索対策の言説には「〜すればAIに載る」という形が多い。なぜかを、私たちは構造の問題だと考えている。断定は売りやすく、検証は遅い。施策を売る側には断定の動機があり、買う側には断定を求める事情がある。予算を通すには「効くかもしれない」より「効く」のほうが強い。

そして、効かなかったという結果は表に出にくい。施策の効果測定がそもそも難しいうえに、失敗の公開には動機がない。結果として、市場には成功の断定だけが積み上がる。

私たちも例外ではない。診断や調査を提供する立場である以上、断定したほうが売りやすいという力は、私たちにも同じように働く。この記事を含むシリーズ全体で限界を書き続けているのは、その力への抵抗を仕組みにするためである。書き手の善意は当てにならない。限界セクションを必置にするという規則のほうが当てになる。

これは言説を発する個々人の誠実さの問題ではなく、検証のコストが断定のコストより大きいという構造の問題である。構造を変えるには、検証のコストを下げるか、検証済みであることの価値を上げるしかない。

実務への示唆｜観測は使える。因果の顔をした観測を見分ける

第一に、観測は観測として使う。自社の業界と条件で何が語られているかを測ることは、施策の前提として今すぐ役に立つ。本シリーズの手順は公開している。

第二に、「こうすれば出る」という言説には、前後の測定と対照群の有無を確認する。どちらかが欠けていれば、それは因果の顔をした観測である。

第三に、自社で施策を打つなら、打つ前に測っておく。前の測定がなければ、効果は永遠に語れない。施策そのものより、施策の前に測ることのほうが、いま確実にできる投資である。

第四に、効かなかった結果も記録する。因果の検証は1社では完結しないため、失敗を含む実測が持ち寄られる場がないと、この分野の知見は断定の集積のままになる。

この記事でわかっていないこと

「誰も証明していない」は、私たちが確認できた範囲の話である。網羅的な文献調査を行ったわけではなく、未公開の検証や、私たちが見落とした公開検証が存在する可能性はある。存在をご存じの方は、むしろ教えてほしい。

本稿の観測一覧は、6調査すべてが2026年7〜8月時点のモデルの挙動である。モデル更新後も同じ観測が成り立つかは、定点観測を続けるまでわからない。

各観測のnと設計の制約は、それぞれの記事の限界セクションに記載したとおりである。表1は要約であり、単独で引用すると限界の情報が落ちる。

因果検証の設計を示したが、その設計で実際に検証できることを実証したわけではない。対照群の確保や判定基準の固定が実務上どこまで維持できるかは、やってみるまでわからない。

調査概要

表2　本稿で言及した調査

各調査の詳細な設計・n・率表示の可否・限界は、それぞれを扱った記事に記載している。本稿の数値はすべて既公開記事で検証済みのものであり、新規の測定は含まない。

判定基準の版と対象範囲：本稿で言及した5記述型の判定は判定基準v2.1による（「価格」はv2.2で「契約条件」に改称）。調査対象企業はすべて匿名である。

本稿はシリーズの締めである。実測を持ち寄り、検証の設計を議論する場として、AI検索の勉強会コミュニティを運営している。効いた話だけでなく、効かなかった話を歓迎する。