銀座でAIに聞いてみた。
条件をひとつ変えると、おすすめは変わりました。

このお店は、ベジタリアン向けの回答の4割に登場しました。回答の中には、そのお店のベジタリアン／ヴィーガン対応に触れて薦めているものがありました。ただし、なぜこの結果になったのか——お店の公式サイト、第三者の記事、AIがもともと持っている知識、検索結果のどれが効いたのか——は、この実験では切り分けられていません。実験のあいだ、お店の情報は一切変更していないので、特定の情報源を原因と決めることはできません。

言えるのはここまでです。「おすすめの店は？」という一般的な質問を1つ聞いただけでは、そのお店がAIに出ているかどうかは分からない。お客様の場面ごとに測らないと、実態は見えません。

ただし、差はいつも同じ向きとは限りません。Geminiのベジタリアン向け回答では、このお店は日本語で5回中5回、英語では5回中1回の登場でした。他のAIでは差はもっと小さく、全体を通して「日本語のほうが常に出やすい」とは言えませんでした。5回ずつの測定では、どちらの言語が有利かを結論づけるには足りません。

それでも、実務上の結論ははっきりしています。言語ごとに分けて測ること。英語の結果を、日本語のお客様が見ている答えの代わりとして扱わないこと。地元のお客様と訪日観光客は、別々に測らなければ見落とします。

集めたデータを別途監査して、この誤りを見つけ、記事にする前に訂正しました。訂正後、ある1店の登場回数は10回から16回に増えました。最初の数字のままでは、そのお店の存在感を実際より小さく見せ、言語やAIのあいだの比較も歪めていたところです。

取りこぼしの理由は、お店の名前の書かれ方の多さです。漢字、ローマ字、説明を付けた書き方。番号つきの見出し、箇条書き、決まった形式でない書き方。そして、名前が出ていても、それがおすすめとは限らない場合——注意書きや比較の中で名前だけ出ることもあります。自動で数えるだけでは足りません。人の目での確認が、測定の一部です。

もうひとつ。AIごとに、検索の痕跡として残る情報の量が違いました。検索したことが確認できる回答もあれば、記録からは検索の有無を判断できない回答もありました。そして、回答のそばに情報源が表示されていても、その情報源が回答のすべての内容を裏づけているとは限りません。「出ているか」を数える仕事と、「正しく紹介されているか」を確かめる仕事は、分けなければいけません。

だから、測り方もそれに合わせます。場面ごと、言語ごとに、繰り返し聞く。一般的な質問への1回の回答で「出ている／出ていない」を判断しない。私たちが飲食店向けの診断で29の質問を使い、複数のAIに繰り返したずねるのは、この実験で見たばらつきが理由です。

お店側の土台は、場面ごとの情報を正確に書いておくことです。ベジタリアン対応の有無、記念日に使えるかどうか、予約の方法、営業時間と定休日。AIが参照する公開情報にそれが正確に書かれていれば、少なくとも「材料」は揃います。なお、情報を直したら登場が増えるのか、登場が増えたら予約が増えるのかは、この実験では検証していません。どちらも、別の実験が要ります。

次に調べたいのは2つです。ひとつは、AIがお店について述べる情報——営業時間、価格、予約方法——が正しいかどうか。もうひとつは、お店の確認済み情報を直したとき、おすすめへの登場が時間とともに変わるかどうか。あわせて、日本語と英語が混ざる回答から店名を数える仕組みも改善します。