測定方法

エンジンごとに測定するもの

SEOはお客様ご自身のGoogle Search Consoleのデータに基づく決定論的なスコアです。同じデータからは同じスコアが出ます。直近28日間をその前の28日間と比較します。区間（80%）は7日単位のブロックで週ごとの変動を示します。Search Consoleのデータは標本ではなく全数だからです。

AEO対応度は、ページのHTMLとHTTPレスポンスに対する決定論的なチェックに基づきます。言語モデルも採点基準表も使いません。不合格のチェックにはすべて、反証できるエビデンスが付きます。

GEO引用シェアは、固定されたプロンプト群に対してAIエンジンがお客様のドメインを情報源として挙げる頻度です。6つのエンジンそれぞれ、また言語ごとに個別に報告し、他と平均することはありません。

三つのスコアを一つの数値に統合することはありません。スコアを保持するデータ型には統合スコアのフィールドがなく、誰かが追加するとテストが失敗します。

パネルの規模と頻度

AIの引用を大きく動かすのは、同じ質問の繰り返しよりも質問の言語とプロンプトの選び方です。プロンプトごとに2回の実行は、実行間のノイズを推定できる最小限の回数です。毎日実行しても費用が何倍にもなるだけで、区間は狭まりません。そのトレードオフは明示しています。引用の変化を一週間未満で検出することはありません。

エンジン・言語ごとに60件の回答では区間が広くなり、近い二つのシェアを区別できないことがよくあります。Sonarはその幅を隠さずに表示します。

区間の計算方法

区間はクラスター・ブートストラップで求めます。再標本化の単位はプロンプトのクラスターで、そのすべての実行とともに復元抽出します。同じ話題のプロンプトは一緒に上下するため、回答を一つずつ独立として扱うと区間が実際より狭く見えてしまいます。

各区間は2,000回のブートストラップ反復、95%の水準、「expanded」パーセンタイル法を用います。シミュレーションで検証した手法の中で、被覆率が公称値に最も近かったためです。

GEOの数値に「測定済み」のラベルが付くのは、すべてのプロンプトが2回以上実行され、再標本化できるプロンプトのクラスターが複数ある場合だけです。それ以外は標本サイズとともに「参考値」と表示し、クラスターが一つだけの場合は可能な限り最も広い区間になります。

乱数シードはエンジンと言語から導出するため、同じデータからは常に同じ区間が再現されます。

ホールドアウトの設計：前後比較が証拠にならない理由

トラフィックは変更とは無関係な理由でも動きます。季節、祝日、検索エンジンのアップデート、競合の新製品などです。前後比較はそのすべてを結果に混ぜてしまいます。そのためSonarの効果に関する主張はすべて、変更したページと、一度も手を加えていない類似ページのホールドアウトを同じ期間で比較したものです。

URLの10%以上、プロンプトのクラスターの10%以上をホールドアウトとして確保します。メンバーはランキングではなく鍵付きハッシュで決まるため、ページを追加しても既存メンバーが入れ替わることはありません。ホールドアウトのメンバーが外されたり廃止されたりすることはありません。

ページは一つずつではなく検索クエリのクラスター単位で無作為に割り付けます。上位クエリを共有するページはまとめて割り付けるため、あるページへの変更が対照ページのクリックを奪うことはありません。実験を開始できるのは、最大のクラスターが占めるクリックが30%以下で、クリックのあるクラスターが10個以上ある場合だけです。

推定には、週次の季節性モデルと移動ブロック・ブートストラップ（7日ブロック、2,000回反復）を用いた差の差分法を使います。ポアソン下限により、トラフィックの少ないサイトで区間が誤って狭くなることを防ぎます。変更前に70日分の履歴と、変更後に28日間の計測期間が必要です。

GOODには改善確率95%以上と逐次境界の通過が必要です。BADには悪化確率90%以上が必要です。NEUTRALには、維持する価値のある最小の改善幅である±3%の範囲内に確率の80%以上が入ることが必要です。逐次境界は方向ごとに5%の誤り予算を使うため、毎日確認しても誤警報は増えません。それ以外はRUNNINGのままかUNDERPOWEREDで終わり、灰色で表示され、緑になることはありません。

ホールドアウトがなければ、効果レポートは表示を拒否します。前後比較の数値で代用することはありません。

A/Aテストの結果

A/Aテストでは何も変更しないため、そこで出るGOODやBADの判定はすべて誤警報です。実際の実験を判定するのと同じコードである判定パイプライン全体を、実在サイトに合わせて群の分割とノイズを較正したシミュレーション上のサイトで実行しました。

5段階のトラフィック水準、100回のA/A実行で、誤った判定は0件でした。

この表は不都合な面も示しています。トラフィックが少ないと、実際の改善でさえほとんど検出されません。GOOD判定には、教科書的なMDEの公式が想定するよりも高い確実性が求められるからです。だからこそSonarは実験開始前にMDEを表示し、販売する内容を実測の検出力で制限しています。

これは2026年9月24日に記録したシミュレーションです。実際のトラフィック系列でA/Aテストを行うには確定データが98日分必要ですが、当時ラボのサイトには69日分しかありませんでした。2026年10月20日以降は十分な確定データがありますが、実系列での結果はまだ公開していないため、上の表はシミュレーションのままです。

トラフィック水準ごとの最小検出可能効果

最小検出可能効果（MDE）とは、両側有意水準5%、検出力80%のもとで、実験がノイズと区別できる最小の改善幅です。Sonarは実験を始める前に、お客様のサイトについてこれを計算します。

効果に関する主張を販売するのは、実測MDEが12%以下の場合だけです。12%から25%の間では、結果を参考値として表示します。25%を超える場合は、効果に関する主張を一切行いません。

計画用の数値は、各日が独立していること、控えめな過分散、最小のホールドアウトを仮定しています。実際に適用されるのは、お客様自身のデータからブロック・ブートストラップで実測した値です。上のA/Aテストでは計画用の数値より小さくなりましたが、別のサイトでは大きくなることもあります。

主張しないこと

売りやすい数字もありますが、Sonarはそれを表示しません。

• 統合された一つの可視性スコア。SEO、AEO、GEOは別々の三つの数値のままです。
• 前後比較による効果。前後比較のグラフには「効果の証拠ではありません」というラベルが付きます。
• 区間のないGEOの数値や、参考値にすぎないデータへの「測定済み」ラベル。
• MDEが25%を超えるサイトについての効果の主張。
• AIモデルのバージョン変更をまたいだトレンド。新しいモデルバージョンからは新しい系列が始まります。
• 3社以上の異なる顧客と3個以上の独立したクラスターが揃う前の、他の顧客からの統合結果。
• 存在しない評価、レビュー、価格、推薦の声。

安全ループ

Sonarは公開中のウェブサイトに書き込むため、すべての書き込みに上限を設け、確認し、元に戻せるようにしています。

接続方法と、それぞれで変更できること

Sonarが修正を適用する方法は、サイトの接続方法によって異なります。この表は、各接続が現在実際にサポートしている内容から生成されています。

• エッジ（Cloudflare）：最も幅広い修正を、サイトの前段で適用します。どのドメインでも利用でき、お使いのDNSプロバイダーでCNAMEを設定してホスト名をSonarに向けるだけです。
• WordPress：Sonarプラグインとアプリケーションパスワード。タイトル、説明文、FAQセクション、新規ページ。
• GitHub：ファイルから構築されるサイト向けに、Sonarがリポジトリにプルリクエストを作成します。
• Shopify：ストア内のカスタムアプリ。メタタグとページ上のブロック。
• Webflow：APIトークン。ページのタイトルと説明文のみ。
• Contentful・Sanity・Strapi（コンテンツタイプごとのフィールド対応付け）、Wix・Squarespace・HubSpot：APIトークン。タイトルと説明文、APIに項目があればcanonicalも。それ以外はエクスポートモードへ。

必要なもの

• Google Search Console：セットアップウィザードに表示されるSonarのサービスアカウントを、プロパティの制限付きユーザーとして追加します。
• Bing Webmaster Tools：チームのBingアカウントにサイトを追加するよう、Sonarのオーナーに依頼してください。
• エッジ接続：CNAMEレコードを1件追加するためのDNS設定へのアクセス（どのDNSプロバイダーでも可）。DNSを変更できない場合は、代わりにWordPress、Shopify、Webflow、GitHubを使ってください。
• 第2要素用の認証アプリ。サイトの接続に必要です。
• GEO引用パネルを使う場合は、ビジネスのコンテンツ言語が少なくとも2つ必要です。