何を測っているか
測っているのは、ChatGPTとGeminiのWeb版が返す回答本文です。APIの回答ではありません。 利用者が実際に画面で目にするものと同じ経路の回答を対象にしています。
取得条件は日本・日本語に固定しています。同じ質問を、同じ地域・同じ言語の設定で繰り返し投げるので、 日によって数字が動いたとき、それが条件の違いではなくAIの回答の変化だと言えます。
以前は検索を使わない計測と使う計測を分けていましたが、現在はすべてWeb検索を使う条件で統一しています。 検索が実際に実行されたかどうかは回答ごとに記録しています。
どれくらいの頻度か
有料プランは1日1回、無料プランは月1回、自動で計測します。いずれも質問とAIサービスの組み合わせごとの回数です。
日本時間の日付で重複を排除します。同じ日に二重に計測することはありません。
日本時間の月初で区切ります。登録直後の初回計測は別に行います。
施策を公開した直後など、必要なときに実行できます。プランごとに月間の回数枠があります。
回答の取得方式
回答の取得には、第三者のデータ取得基盤を利用しています。GEOCKがChatGPTやGeminiの公式APIに質問を投げているのではありません。Web版に出る回答を観測している、というのが正確な説明です。
取得方式は2つあり、計測の種類で使い分けています。
取得を依頼して、仕上がったものを順に受け取ります。待ち時間は長くなりますが、毎日の定点観測では待てるので、こちらを使います。
その場で結果が返るのを待ちます。画面の前で待っている計測だけに使います。
取得先の事業者名と、そこへ何が送られるかはプライバシーポリシーに記載しています。
回答から数字にするまで
取得した回答本文から、企業・ブランド・商品・サービスの名前を抜き出します。この抽出工程にはAIを使っています。 抜き出すのは名前だけでなく、回答のどの一文に出てきたか、すすめる文脈かどうか、「1位」のような明示された順位が付いているかも同時に判定します。
抽出結果は、必ず回答本文と突き合わせて検証しています。抜き出された名前と根拠の一文が回答本文にそのまま存在しない場合、 その抽出結果は捨てます。抽出に使うAIが実在しない社名を出しても、指標には反映されません。
回答内での登場順と、回答が明示した順位は、別のものとして分けて保存しています。 「3番目に名前が出てきた」ことと「3位だと書かれた」ことは意味が違うためです。
指標の定義
画面に出る指標は、すべて次の定義で計算しています。GEOそのものの用語はGEO用語集にまとめています。
有効回答のうち、自社名が1回以上登場した回答の割合です。1つの回答に複数回登場しても1回答として数えます。
有効回答のうち、自社をすすめる文脈が含まれた回答の割合です。名前が出ているだけの回答は含みません。
自社サイトのドメインが引用元として使われた回答の割合です。分母は有効回答すべてではなく、引用が成立しうる回答——Web検索が実行された回答、または引用URLが付いていた回答——に限っています。検索されなかった回答を分母に入れると、引用のしようがない回答で率が薄まるためです。
回答内でブランドが登場した順番の平均です。未登場は0位にせず「圏外」として扱い、平均の計算から外します。
回答本文を取得して解析まで終わった計測のことです。取得に失敗した計測、本文が空だった計測は含みません。
AIがその回答を作るときにWeb検索を実行したかどうかです。「あり」「なし」のほかに「未確認」があります。AIサービスによっては実行の有無が返らないため、その場合は引用URLの有無を手がかりとして表示します。
送信と保存
計測のために外部へ送られるのは、登録した質問の本文と、回答を取得するために必要な指示です。 回答本文の解析でも外部のAIサービスを利用します。送信先の一覧はプライバシーポリシーに記載しています。
契約期間中は保存し、契約終了日から90日後に自動削除します。
測定日から90日間保存します。
言及・推薦・引用・順位などの抽出結果と集計値は、契約継続中および法令・規約上必要な期間保持します。
同じ製品に入っているサイトGEO分析は、計測とは別の仕組みです。公開ページ・robots.txt・sitemap.xml・構造化データを ルールで検証する50項目の診断で、AIは使いません。AIを使うのは、上で説明した回答本文の抽出工程です。
この計測で分からないこと
測れないことを先に書いておきます。ここを曖昧にしたまま数字だけ見ると、判断を誤ります。
- AIの回答は、同じ質問でも毎回変わります。1日1件の結果で良し悪しを決める道具ではなく、同じ条件で取り続けて傾向を見る道具です。
- ChatGPT・Geminiが公開している順位データではありません。両社は順位を公表していません。GEOCKが見ているのは回答本文であって、公式な順位表ではありません。
- 順位が上がることを保証するものではありません。GEOCKが示すのは現状と変化であって、特定の施策の効果を約束するものではありません。
- 抽出の取りこぼしはあります。本文との突き合わせで作り話は防げますが、回りくどい言い方で触れられた名前を拾い切れないことはあります。
- 売上・市場シェア・一般の検索順位とは別のものです。AI回答のなかでの見え方だけを示します。