自分の調査データが、自分の主張の反証になっていた｜LLMO/GEO実測で自分たちの数値4件を検算した結果

記事を書く前に、使う数値をすべて原データと突き合わせる手順を導入した。その結果、自分たちが報告書や企画書に書いていた数値のうち4件が、原データから再現できないことが分かった。1件は数値の誤りではなく定義の混同だったが、残る3件は再現不能である。うち1件は、記事の主張そのものが成立しなくなった。

検算の手順を決めたら、自分たちの数値が落ちた

私たちは実測を根拠にした記事を書いている。根拠が実測である以上、数値が正しいことが記事の前提になる。そこで、記事に使う数値はすべて数値マスタから引き、マスタの値は原データから機械的に集計したものに限る、という規則を決めた。報告書や過去の要約からの再引用は禁止した。

この規則を適用したところ、記事を書き始めた時点で執筆が止まる事態が続いた。企画書に書かれていた数値がマスタになく、原データを当たっても出てこない。

最終的に4件が確定した。内訳は次のとおりである。

表1　原データと照合できなかった4件

いずれも2026年8月16日時点の確定。1件目は解消、2〜4件目は再現不能として記録した。

1件目は、矛盾ではなく定義が記録されていなかった

最初に見つかったのは、悩み段階に関する2つの数値の食い違いである。一方の資料には「27回答中2」とあり、別の集計では「27回答中0」となっていた。同じ調査の同じ段階を指しているように見えた。

原データを確認すると、両方とも正しかった。27回答中2は、事前に定義した競合企業のリストに載っている企業が回答に登場した数である。27回答中0は、調査対象である自社が言及された数である。別の指標を、どちらも「27回答中◯」という同じ形で書いていたために、矛盾に見えていた。

数値の誤りではない。だが、指標名を書かずに数値だけを残すと、後から自分でも区別できなくなる。これは記録方法の問題である。

2件目は、測り直したら主張が消えた

最も重い1件がこれである。「悩み段階で会社名を出す業界と、出さない業界がある」という記事を企画しており、根拠は印刷EC 12回答中10、人材教育 9回答中1という対比だった。有形商材と無形サービスで買い手の距離感が違う、という説明も付けられそうだった。

この2つの数値が、原データのどの切り口からも出てこなかった。段階別でも、クラスタ別でも、質問型別でも、AI別でも、該当する組み合わせが存在しない。

そこで、再現可能な基準を定義し直して測り直した。事前に定義した企業リストとの機械的な照合である。結果、悩み（課題認識）の段階は印刷EC 21回答中4、人材教育 27回答中2でどちらも低く、比較検討の段階は印刷EC 15回答中9、人材教育 18回答中14でどちらも高かった。

業界の差は消えた。代わりに現れたのは段階の差で、しかも2業界で揃っていた。企画していた主張は成立せず、記事は「業界差だと思っていたものは段階差だった」という内容に書き換えた。

3件目と4件目に共通していたこと

3件目は、社名が挙がったのに記述が1件もない事象の数である。報告書では8試行としていたが、再現可能な定義で数え直すと試行数14、企業単位では26件だった。中核の知見（すべて検索が実行されていない試行で起きている）は再現したが、数値は合わなかった。

4件目は、実績の記述を指標の種類ごとに分けた内訳である。報告書には受講者数49件、発注者名10件とあったが、記述データに指標種別を記録した列がなく、分類の手順も残っていなかった。文字列の規則で分類し直しても、受講者数に該当するのは数件にとどまる。この記事は企画ごと保留にしている。

3件目と4件目に共通するのは、分析の結果は文章として残っているのに、その結果を出した手順が残っていないことである。数え直そうとしても、当時どう数えたのかが分からない。

4件に共通する構造は、記録されなかった手順にある

1件だけなら転記ミスで説明がつく。照合した範囲で4件が出たとなると、別の説明が必要になる。なお、照合したのは記事化の過程で使おうとした数値に限られる。全体で何件を照合したかという分母は集計しておらず、4件が多いのか少ないのかは示せない。言えるのは、同じ性質の問題が繰り返し出たということである。

4件に共通していたのは、分析結果が保存され、集計手順が保存されていなかったことである。報告書には「◯件だった」という結論が書かれ、その数を出すために何を対象とし、何を除外し、どういう基準で分類したかは書かれていない。

この状態では、検証ができない。第三者にできないだけでなく、書いた本人にもできない。数か月後の自分は、他人と同じである。

もう1つ、指標名の記録も欠けていた。1件目の食い違いは、数値の横に指標名を書いておけば起きなかった。

何を変えたか

4件を受けて、運用を3つ変えた。

第一に、数値の出所を一本化した。記事に使う数値は数値マスタからのみ引き、マスタの値は原データからの機械集計に限る。報告書や過去の記事からの再引用は禁止した。マスタには集計の単位、母数、各セルのn、率表示の可否、検算日を併記している。

第二に、判定基準に版番号を付けた。分類の規則を文書化し、改訂のたびに記録する。どの版で判定されたデータかを、数値と一緒に持つようにした。

第三に、執筆後の照合を手順に組み込んだ。記事の草稿ができた時点で、使用した数値をすべてマスタと突き合わせる。この工程で見つかった問題は、本稿で挙げた4件以外にも複数ある。

これらは特別な仕組みではない。ただ、決めておかないと実行されない種類の作業である。

付け加えると、この3つはいずれも書き手の誠実さに依存しない。誠実であっても、手順がなければ同じ誤りが起きる。実際、本稿の4件はどれも意図的な誇張ではなく、集計手順を残さなかったことの結果である。防げるのは規則のほうであって、心構えではない。

実務への示唆｜結果ではなく手順を保存する

第一に、集計手順を数値と一緒に保存する。対象、除外条件、分類基準、集計日。これがないと、後から誰も検証できない。

第二に、数値には必ず指標名と単位を添える。「27回答中2」だけでは、何を数えたのかが失われる。

第三に、再現できない数値は使わない。惜しくても使わない。1件許すと、どこまでが検証済みなのかが分からなくなる。

第四に、自社の主張を支持する数値ほど疑う。私たちの2件目は、企画の主張を支える数値だった。都合のよい数値は、疑う動機が働きにくい。

この記事でわかっていないこと

4件の数値がどう作られたかは特定できていない。転記の誤りなのか、別の集計との取り違えなのか、当時の分類基準が現在と違ったのかは、記録が残っておらず追跡できない。

同種の問題が他にもある可能性は排除できない。本稿の4件は、記事化の過程で照合したものである。照合していない数値については、状態が分かっていない。

追試は実施していない。当初の仮説検証では、対象企業が出現する条件を作ったうえでの再測定、複数モデルでの並行計測、買い手の文脈を主変数にした設計の3点が「次に必要な検証」として挙げられていたが、いずれも未実施である。今後の課題として記録している。

本稿で挙げた再現後の数値も、現在の基準で集計したものである。基準が変われば値も変わる。本稿が主張しているのは「現在の数値が正しい」ことではなく、「手順を残せば検証できる」ことである。

調査概要

表2　本稿で言及した調査

各調査の設計・n・限界・クライアント関与は、それぞれを扱った記事に記載している。設計が異なるため、調査間で数値を比較してはいけない。個社調査は筆者が支援するクライアント企業の診断であり、対象企業はすべて匿名としている。