銀座の飲食店について、4つのAIに同じ質問を日本語と英語で繰り返しました。Perplexityの日本語回答で表示された情報源の約3分の2は一休レストランで、15回答中12件に登場しました。Claudeでは日英で共通するドメインがありませんでした。 全体の重複度は約4分の1(ジャカード係数0.247)でした。
調査設計
ノート001と同じ一般的な夕食、記念日、ベジタリアン向けの3シナリオを日英で用意し、OpenAI、Gemini、Perplexity、AnthropicのAPIに各5回質問しました。120件中119回答を取得し、回答に添えられたドメインを集計しました。
| システム | 集計の対象 |
|---|---|
| Perplexity | 回答ごとに表示される固定15件の検索結果。個々の文とは対応しない |
| OpenAI | モデルが本文に挿入したリンク |
| Anthropic | 回答の箇所と情報源の抜粋にひもづく引用 |
| Gemini | 本文の一部にひもづくグラウンディングの情報源 |
Perplexityは30回答で450件を表示しましたが、本文にもURLとして現れたのは13件でした。4システム合計974件のうち46%がこの固定一覧に由来します。単位が異なるため、比較はシステムごとに行います。
| システムと言語 | 情報源付き回答 | 情報源の件数 |
|---|---|---|
| OpenAI・日本語 | 15 | 78 |
| OpenAI・英語 | 14 | 73 |
| Perplexity・日本語 | 15 | 225 |
| Perplexity・英語 | 15 | 225 |
| Gemini・日本語 | 6 | 81 |
| Gemini・英語 | 5 | 81 |
| Anthropic・日本語 | 14 | 107 |
| Anthropic・英語 | 15 | 104 |
同じシステムの日英比較は同日のデータです。システム間の比較には最大5日の測定日の差があります。
結果01|Perplexityの日本語回答は一休が中心
一休レストランは日本語の225件中147件で、15回答中12件に表示されました。日本語ではミシュラン10件、Vegewel 8件が続き、英語ではミシュラン64件、Tripadvisor 13件、japandining.jp 12件でした。4システムを合わせた日本語491件では、一休197件、ミシュラン24件、食べログ22件でした。英語で食べログは8件でした。掲載内容を変更した場合の効果は測定していません。
結果02|Claudeでは日英で共通ドメインがなかった
日本語107件のうち、一休は34件(15回答中10件)、食べログは16件(5回答)でした。英語104件ではガイドやブログが中心で、最多のbyFoodは19件(10回答)でした。日本語の16ドメインと英語の17ドメインは、シナリオ別に見ても重複がありませんでした。再分類後、英語引用の91.3%がガイドやメディアで、店舗の公式サイトは0%でした。
- Claude0.000
- 4システム合計0.247
- OpenAI0.391
ジャカード係数。0は共通ドメインなし、1は完全一致。
結果03|4システム全体でも情報源が異なる
日本語491件、英語483件でした。日本語最多は一休の197件、英語最多はミシュランの84件です。全体のジャカード係数は0.247、シナリオ別では0.184~0.250でした。
結果04|OpenAIは公式サイトを多く示し、Geminiは質問条件で差が出た
OpenAIは日本語78件、英語73件で、ミシュランはどちらも14件でした。公式サイトの割合は日本語48.7%、英語39.7%で、重複度0.391は4システムで最も高い値でした。
Geminiが情報源を表示したのは30回答中11件です。ベジタリアン向けは10件中10件、一般的な夕食は10件中1件、記念日は10件中0件でした。一休は日本語で15件(情報源付き6回答中5件)、HappyCowは英語で9件(5回答すべて)でした。タイトルのない情報源が多く、分類結果は下限です。初回に未分類だった674件のうち509件をガイド・メディア、110件を公式サイトに再分類し、55件が未分類のまま残りました。
- 一般的な夕食1/10
- 記念日ディナー0/10
- ベジタリアン向け10/10
各シナリオ10回答のうち、情報源が表示された件数。
表示された情報源の読み方
情報源は回答の一部だけを支える場合があります。出典が見えなくても、モデルが学習済みの知識を使っている可能性があります。情報源、推薦への登場、情報の正確性はそれぞれ確認します。事業者が公式サイトの営業時間や料金を正しく保てば、確認済みの情報を公開できます。本調査は修正による推薦への効果を測定していません。
調査の限界
対象は一地域、固定した質問、2日間のAPI測定です。アプリでは挙動が異なる場合があります。Geminiの詳細は情報源が表示された11回答に限ります。結果は探索的で、順位付けを目的としていません。情報源が食い違う場合はノート003の結果をご覧ください。