NIXUMA
NIXUMA
リサーチノート一覧

NIXUMA リサーチノート 003

情報源が食い違うとき、AIはどちらの版を繰り返すのか

· 測定:2026年11月8日|場所:東京(日本橋、浅草、銀座、目黒、神保町)|質問文は固定のものを使用

店舗の公式サイトと主要な掲載ページが、営業時間や定休日について食い違うとき、AIはどちらの版を答えとして返すのか。東京の老舗飲食店6店を取り上げ、情報源が食い違う3ケースと一致する3ケースを選んで、ChatGPT、Gemini、Perplexity、Claudeの4つのAIに、1店につき1つの事実だけを、日本語と英語で各3回質問しました。まず結果です。情報源が一致した店舗では、72件の回答のうち公式情報と矛盾するものは1件もありませんでした。情報源が食い違った店舗では、72件中7件が公式情報と矛盾しました。5件は食い違う掲載側の版をそのまま答え、2件はどちらの情報源にもない第三の値を答えました。さらに7件はどちらの版にも決めず、食い違いそのものを提示しました。 そして矛盾した7件のうち5件は、1つのAIシステム(Claude)に集中していました。銀座のあるカフェのケースでは、Claudeの英語の回答3件すべてが公式情報と一致せず、うち2件は公式情報にも掲載情報にもない「毎日営業」という第三の答えを返しました。

設計|測定の設計方法

対象は、長い営業歴を持つ東京の飲食店6店です。各店の公式サイトが公開している1つの事実(定休日、または閉店時刻)について、主要な掲載ページが公式情報と食い違う店舗を3店(食い違いケース)、確認した掲載すべてが一致する店舗を3店(一致ケース)選びました。各店について、その事実を尋ねる固定の質問文を日本語と英語で用意し、4つのAIに各3回質問しました。合計144件の回答です。

項目 内容
日付と場所 2026年11月8日 / 東京(日本橋、浅草、銀座、目黒、神保町)
AIシステム ChatGPT(OpenAI)、Gemini(Google)、Perplexity、Claude(Anthropic)。いずれもAPI経由(モデルと検索設定は下表)
対象 飲食店6店。情報源が食い違う3ケースと、一致する3ケース
事実 1店につき1つ。定休日、または閉店時刻
言語 日本語と英語
繰り返し 店舗・言語・AIシステムごとに3回。合計144件の回答
分類 各回答を、その事実について公式情報と一致したか、矛盾したか、単一の値を示さなかったかで分類しました。どちらの版が正しいかの判断はしていません

モデルと検索設定

回答はすべてAPI経由で収集し、消費者向けアプリは使っていません。検索は全システムで有効にしました。各質問の3回の繰り返しは、それぞれ文脈を新たにした別のAPI呼び出しで、システム指示は設定していません。

AIシステム モデル 検索設定 出力上限
ChatGPT(OpenAI) gpt-5-mini Responses API、web_searchツール(検索するかどうかはモデルが判断) 6000トークン
Gemini(Google) gemini-3.8-flash AI Studio generateContent、google_searchグラウンディング 2000トークン(ラボ転送時に1200から引き上げ)
Perplexity perplexity/sonar Agent API、web_searchツール 2000トークン(ラボ転送時に1200から引き上げ)
Claude(Anthropic) claude-haiku-4-5 Messages API、web_searchツール(バージョンweb_search_20250305、最大3回まで) 2000トークン(ラボ転送時に1500から引き上げ)

検索の実行は144件中142件で記録されています。例外の2件はいずれもランチョンの対照ケースにおけるClaudeの日本語回答(記録RN3-K2-anthropic-ja-r0とRN3-K2-anthropic-ja-r2)で、検索は実行されず、情報源も返されませんでした。この2件が結果01で数えた回答辞退にあたります。144件すべての記録で、試行は1回のみ成功しており、実行ファイルに再試行の記録はありません。本ノートでClaudeのパターンに触れる箇所は、テストしたこの構成、つまりweb検索付きのclaude-haiku-4-5についての記述であり、あらゆる形態のClaudeを指すものではありません。

対象の6店と、食い違いの内容

店舗 事実 公式情報 食い違う掲載情報
たいめいけん(日本橋) 定休日 月曜定休 TripAdvisorが月曜日を営業日として掲載
ヨシカミ(浅草) 閉店時刻 21:30 ホットペッパーグルメが22:00と掲載
カフェ・ド・ランブル(銀座) 定休日 月曜定休 ホットペッパーグルメは火曜日を定休日とし、TripAdvisorも月曜日を営業日として掲載
とんかつ とんき(目黒) 定休日 火曜定休 なし(確認した掲載すべてが一致)
ランチョン(神保町) 土曜日の閉店時刻 20:30 なし(確認した掲載すべてが一致)
神谷バー(浅草) 定休日 火曜定休 なし(確認した掲載すべてが一致)

各ベンチマークの根拠はすべて同じ種類ではなく、その違いが1つのケースで重要になります。公式ベンチマークは6店中5店で明示的です。たいめいけんは月曜定休を直接記載し、ヨシカミは21:30閉店を直接記載し、一致ケースの3店も事実を直接記載しています。カフェ・ド・ランブルについては、月曜定休は推定です。公式サイトは火曜日から金曜日、土曜日、日曜日の営業時間を掲載し、月曜日の時間は載せていません。一方、食べログの店舗管理による情報では月曜定休が明示されています。さらに2点、注意すべき点があります。たいめいけんのTripAdvisorの記録は移転前の住所が残る古い掲載で、食い違い自体は現在も存在しますが、その情報源として立っているのは維持されていない掲載です。また、ヨシカミの食い違う掲載は、22:00閉店を7月1日からの変更として説明しています。そのため、この店舗で矛盾した回答は、公式サイトより新しい情報を反映している可能性があり、誤りとは限りません。これらの点は限界の節にも記しています。

質問文

店舗 日本語 英語
たいめいけん 日本橋のたいめいけんは月曜日に営業していますか? Is Taimeiken in Nihonbashi open on Mondays?
ヨシカミ 浅草のヨシカミは何時に閉店しますか? What time does Yoshikami in Asakusa close?
カフェ・ド・ランブル 銀座のカフェ・ド・ランブルの定休日は何曜日ですか? What is Café de L'Ambre in Ginza's regular closing day?
とんかつ とんき 目黒のとんかつ とんきの定休日は何曜日ですか? What is Tonkatsu Tonki in Meguro's regular closing day?
ランチョン 神保町のランチョンは土曜日何時に閉店しますか? What time does Luncheon in Jimbocho close on Saturdays?
神谷バー 浅草の神谷バーは火曜日に営業していますか? Is Kamiya Bar in Asakusa open on Tuesdays?

回答の分類方法

分類は、各回答がその事実について主として主張した値に従いました。主として主張した値が公式の値である回答は、他の情報にも触れていても一致として数え、その追加情報は記録に残しました。主として主張した値が公式の値と異なる回答は矛盾として数えました。単一の値を主張しなかった回答は、単一の値なしとして数えました。この最後のグループには3つの下位類型があり、件数が重要です。このグループの9件のうち、6件は両方の版を提示してどちらにも決めず、1件は両方の値にまたがる範囲を示し、2件は回答を辞退するか事実なしに答えました(上記の検索なしのClaudeの2件)。食い違いケースだけでは、このグループの7件は、両方の版を提示した6件と、範囲を示した1件に分かれます。144件すべての回答の原文が保存されています。

結果01|情報源が一致した店舗では、公式情報と矛盾する回答は0件だった

一致ケースの3店(とんかつ とんき、ランチョン、神谷バー)では、72件の回答のうち70件が公式情報と一致し、矛盾したものは0件でした。公式情報と異なる値を主張したAIシステムはありませんでした。

残りの2件は単一の値を示さず、いずれもClaudeの日本語回答で、辞退の下位類型でした。ランチョンの土曜日の閉店時刻について、Claudeは3回の繰り返しのうち2回、検索せずに回答を辞退しました。とんかつ とんきと神谷バーは、24件すべての回答が公式情報と一致しました。

結果02|情報源が食い違った店舗では、約10件に1件が公式情報と矛盾し、約10件に1件はどちらにも決めなかった

食い違いケースの3店では、72件の回答のうち58件(81%)が公式情報と一致し、7件(約10件に1件)が矛盾し、7件(約10件に1件)が単一の値を示しませんでした。矛盾した7件はすべて同じ種類ではありません。5件は食い違う掲載の値と一致し、2件は公式情報にも食い違う掲載にもない第三の値を示しました(いずれも結果04のカフェ・ド・ランブルの「毎日営業」の回答です)。単一の値を示さなかった7件のうち、6件は両方の版を提示して決めず、1件は両方の値にまたがる範囲を示しました。

全体では、144件の回答のうち128件(89%)が公式情報と一致し、7件が矛盾し、9件が単一の値を示しませんでした。矛盾が現れたのは、情報源自体が食い違う場所だけでした。

ここで感度チェックを1つ記します。カフェ・ド・ランブルのベンチマークは推定によるものです(設計の節を参照)。このケースを除くと、食い違いケースは48件となり、そのうち3件が公式情報と矛盾し、3件すべてが食い違う掲載の値と一致しました。第三の値のパターンは、ベンチマークが推定のケースにだけ現れます。

結果03|店舗ごとに見ると、食い違いへの答え方は店舗ごとに異なった

たいめいけん(24件:一致21件、矛盾0件、単一の値なし3件)。TripAdvisorの「月曜日は営業」という情報を自らの答えとして繰り返したAIシステムはありませんでした。単一の値を示さなかった3件はいずれもClaudeの英語回答で、月曜定休と月曜営業を並べて提示し、店舗への電話確認を勧めました。一方、同じ店舗に対するClaudeの日本語回答は、3回とも公式情報と一致しました。

"there are conflicting reports about whether Taimeiken in Nihonbashi is open on Mondays: Some sources indicate the restaurant is closed on Mondays. Other sources show it's open Monday 11:00 AM - 9:00 PM. Given these conflicting reports, I recommend calling the restaurant directly [...] to confirm their Monday hours before planning your visit." (Claude、英語、記録RN3-C1-anthropic-en-r0)

ヨシカミ(24件:一致18件、矛盾3件、単一の値なし3件)。掲載側の情報である22:00閉店が主として主張した値となったのは、ChatGPTの日本語、Perplexityの日本語、Claudeの英語で各1回でした。この店舗で矛盾した3件はすべて、食い違う掲載の値と一致しました。最も明確だったのはChatGPTの日本語回答で、地元の組合の掲載にある22:00を前面に出し、公式サイトの21:30の表記を古いものとして扱いました。残りの3件は、21:30と22:00の両方を挙げるか、両方にまたがる範囲で答えました。

原文は日本語で、回答は浅草の料理組合の掲載「11:30-22:00 (L.O. 21:30)」を最近の情報として前面に出し、公式サイトについては、その情報にはやや古い表記のページが含まれている(例:11:30-21:30 / L.O. 21:00)と述べました。(ChatGPT、日本語、記録RN3-C2-openai-ja-r2)

カフェ・ド・ランブル(24件:一致19件、矛盾4件、単一の値なし1件)。公式情報と一致しなかった5件はすべてClaudeの回答でした。ChatGPT、Gemini、Perplexityは、この店舗の18件すべての回答が公式情報と一致しました。Claudeの日本語は、一致、矛盾、単一の値なしに1件ずつ分かれました。Claudeの英語については次の結果で扱います。

結果04|矛盾した回答は1つの構成、検索付きClaude Haikuに集中した

食い違いケースだけを数え、システムごとに見た内訳です(各システム18件)。

AIシステム 公式情報と一致 公式情報と矛盾 単一の値なし
Gemini 18 0 0
Perplexity 17 1 0
ChatGPT 15 1 2
Claude 8 5 5

Geminiが主として主張した値は、食い違いケースの回答すべてで公式の値でした。PerplexityとChatGPTは各1回矛盾しました。テストしたClaude Haikuの構成では、矛盾した7件のうち5件と、単一の値を示さなかった7件のうち5件がClaudeによるものでした。

この構成の外し方は、他のシステムとは種類が異なりました。一方の側の情報を静かに繰り返すのではなく、食い違いそのものを表に出すことが多かったのです。両方の版を並べて店舗への確認を促すか、最新のものとして扱われたらしい第三の情報を示すかでした。カフェ・ド・ランブルでは、英語の回答3件すべてが公式情報と一致しませんでした。1回は掲載側の「火曜定休」をそのまま答え、2回は公式情報にも掲載情報にもない結論である「毎日営業」に到達しました。

"Café de L'Ambre in Ginza is closed on Tuesday. This is their regular closing day." (Claude、英語、記録RN3-C3-anthropic-en-r1)

"another more recent source states the café is open every day. The most recent information appears to indicate that the café is now open every day" (Claude、英語、記録RN3-C3-anthropic-en-r0)

6ケース全体を通じたシステムごとの合計は次のとおりです。ChatGPTは一致33件、矛盾1件、単一の値なし2件。Geminiは36件、0件、0件。Perplexityは35件、1件、0件。Claudeは24件、5件、7件です(各システム36件)。

結果05|言語による差もClaudeに現れ、3回の繰り返しがそろわないこともあった

日本語と英語の違いはClaudeに集中していました。たいめいけんでは、Claudeの日本語は3回とも公式情報と一致した一方、英語は3回とも両方の版を並べました。カフェ・ド・ランブルでは、Claudeの英語は3回とも公式情報と一致しなかった一方、日本語は3つの分類に1件ずつ分かれました。この規模の言語差は、他の3システムには現れませんでした。

3回の繰り返しが分かれた組み合わせを、幅として記録します。ヨシカミでは、Perplexityの日本語が一致2件と矛盾1件に分かれました。ヨシカミのClaudeの英語と、カフェ・ド・ランブルのClaudeの日本語は、それぞれ一致、矛盾、単一の値なしに1件ずつ分かれました。ランチョンのClaudeの日本語は、一致1件と単一の値なし2件でした。ほとんどの組み合わせは3回とも同じ分類になりましたが、カフェ・ド・ランブルのClaudeの英語だけは、2つの異なる値にまたがりながら、3回とも矛盾側でそろいました。

結果06|尋ねた事実が一致した回答にも、公式ページにない情報が付いていた

一致ケースのとんかつ とんきでは、24件すべての回答が火曜定休で一致しました。そのうち23件は、公式ページにない詳細である第3月曜日も休業であることにも触れていました。

尋ねられた事実について公式情報と一致していることは、その回答が公式情報だけから組み立てられたことを意味しません。回答には、掲載情報だけが持つ詳細が公式の事実の上に重なって返ってきます。

注意|この測定が数えたのは、公式情報との一致である

ここで用いたベンチマークは、店舗自身が公開する公式情報です。したがって「矛盾」は、掲載側が誤りであるという判定ではありません。掲載側のほうが新しい場合もあります。ヨシカミのケースでは、ホットペッパーグルメは22:00閉店を7月1日からの変更として提示しており、公式サイトのほうが追いついていない可能性が残ります。

ただし、どちらの側をベンチマークにしても、測定結果は変わりません。顧客がAIから受け取る回答は、店舗自身が公開した情報と異なりうるのです。両方の版を並べた回答は、単一の値なしとして分類しました。利用者への注意喚起としては有用な場合がありますが、AIの回答だけで行き先を決めたい利用者にとっては、決め手に欠ける回答でもあります。

事業者の方へ|店舗を経営する方へ

  • まず、公式サイトと主要な掲載ページ(食べログ、ホットペッパーグルメ、TripAdvisorなど)の営業時間と定休日がそろっているか確認してください。本測定では、情報源が一致した店舗では、公式情報と矛盾する回答は1件もありませんでした。
  • 食い違いが残る間、AIは食い違う側の情報をそのまま答えることがあり、まれにどちらの情報源にもない値を答えることもあります。本測定で矛盾した回答は1つのAIシステムに集中しましたが、矛盾したのはそのシステムだけではありませんでした。
  • 古い掲載が残っていないかも確認してください。たいめいけんのケースでは、移転前の古い記録が「月曜日は営業」という情報の起源でした。
  • 食い違いへの対応の仕方は、システムごとに異なりました。両方の版を並べて店舗への確認を促す回答は、尋ねられた問いを未決のままにします。どちらの情報源にもない第三の答えは、休業日に顧客を店舗へ向かわせるおそれがあります。本測定は、そのような回答を受け取った後の顧客の行動までは測定していません。
  • なお、本測定は、掲載をそろえることでAIの回答が変わることを確認したものではありません。言えるのは、回答における食い違いは、情報源自体が食い違う場所にだけ現れたということです。

あなたの店の情報は、AIにどう答えられているか

NIXUMAのQuick Scanは、あなたの店に関する公開情報源を確認し、事実ごとに公式情報と一致しているかをチェックします。AIシステム自体に、顧客が実際に使う言い回しで繰り返し質問するのは、Full Auditの方法です。

限界|この調査の限界

本測定が記録したのは、東京の6店、1店につき1つの事実、2026年11月8日の1日分です。対象の事実は定休日と閉店時刻に限られます。価格や支払い方法に関する食い違いについては、本調査のケース選定では、両側を文書で確認できるケースが見つかりませんでした。測定はアプリではなくAPIを通じて行われており、アプリでは挙動が異なる場合があります。使用したモデルはgpt-5-mini、gemini-3.8-flash、perplexity/sonar、claude-haiku-4-5です。結果は探索的なものであり、店舗やAIシステムの順位付けではありません。

個別の事情も記録します。たいめいけんについては、食い違いの情報源であるTripAdvisorの記録は移転前の古い掲載です。カフェ・ド・ランブルについては、公式サイトは月曜日の時間を載せない形で定休日を示しており、月曜定休の明示は食べログの店舗情報に基づいています。分類は各回答が主として主張した値に従い、他の情報に触れた回答も記録に残しています。結果の読み方には、さらに2つの注意が当てはまります。第一に、回答が掲載の値と一致しても、その掲載が回答の原因であることは立証されません。本測定が記録するのは値同士の一致であり、回答がたどった経路ではありません。第二に、各システムが返した情報源と引用は、分類とは別に記録されており、それ自体が分類の根拠ではありません。

出典(2026年11月7日確認、回答は2026年11月8日に収集)

  • たいめいけん:公式サイト https://www.taimeiken.co.jp/ 、食い違う掲載 TripAdvisor https://www.tripadvisor.jp/Restaurant_Review-g14129589-d1224086-Reviews-Taimeiken-Nihonbashi_Chuo_Tokyo_Tokyo_Prefecture_Kanto.html
  • ヨシカミ:公式サイト https://yoshikami.co.jp/info01.html 、食い違う掲載 ホットペッパーグルメ https://www.hotpepper.jp/strJ000103317/
  • カフェ・ド・ランブル:公式サイト http://www.cafedelambre.com/ 、食い違う掲載 ホットペッパーグルメ https://www.hotpepper.jp/strJ000103185/ と TripAdvisor https://www.tripadvisor.jp/Restaurant_Review-g14129573-d1689274-Reviews-Cafe_de_Lambre-Ginza_Chuo_Tokyo_Tokyo_Prefecture_Kanto.html 、月曜定休の明示 食べログ https://tabelog.com/tokyo/A1301/A130103/13002564/dtlrvwlst/B386826327/
  • とんかつ とんき:公式サイト https://tonkatsutonki-megurohonten.com
  • ランチョン:公式サイト https://www.luncheon.jp/access.html
  • 神谷バー:公式サイト http://www.kamiya-bar.com/

付録|144件すべての回答の分類

各セルは3回の繰り返しの内訳です(一致 / 矛盾 / 単一の値なし)。

たいめいけん(日本橋)|定休日。公式情報は月曜定休(24件:一致21件、矛盾0件、単一の値なし3件)

AIシステム 日本語 英語 合計(6件)
ChatGPT 3 / 0 / 0 3 / 0 / 0 6 / 0 / 0
Gemini 3 / 0 / 0 3 / 0 / 0 6 / 0 / 0
Perplexity 3 / 0 / 0 3 / 0 / 0 6 / 0 / 0
Claude 3 / 0 / 0 0 / 0 / 3 3 / 0 / 3

ヨシカミ(浅草)|閉店時刻。公式情報は21:30(24件:一致18件、矛盾3件、単一の値なし3件)

AIシステム 日本語 英語 合計(6件)
ChatGPT 1 / 1 / 1 2 / 0 / 1 3 / 1 / 2
Gemini 3 / 0 / 0 3 / 0 / 0 6 / 0 / 0
Perplexity 2 / 1 / 0 3 / 0 / 0 5 / 1 / 0
Claude 3 / 0 / 0 1 / 1 / 1 4 / 1 / 1

カフェ・ド・ランブル(銀座)|定休日。公式情報は月曜定休(24件:一致19件、矛盾4件、単一の値なし1件)

AIシステム 日本語 英語 合計(6件)
ChatGPT 3 / 0 / 0 3 / 0 / 0 6 / 0 / 0
Gemini 3 / 0 / 0 3 / 0 / 0 6 / 0 / 0
Perplexity 3 / 0 / 0 3 / 0 / 0 6 / 0 / 0
Claude 1 / 1 / 1 0 / 3 / 0 1 / 4 / 1

とんかつ とんき(目黒)|定休日。公式情報は火曜定休(24件:一致24件、矛盾0件、単一の値なし0件)

AIシステム 日本語 英語 合計(6件)
ChatGPT 3 / 0 / 0 3 / 0 / 0 6 / 0 / 0
Gemini 3 / 0 / 0 3 / 0 / 0 6 / 0 / 0
Perplexity 3 / 0 / 0 3 / 0 / 0 6 / 0 / 0
Claude 3 / 0 / 0 3 / 0 / 0 6 / 0 / 0

ランチョン(神保町)|土曜日の閉店時刻。公式情報は20:30(24件:一致22件、矛盾0件、単一の値なし2件)

AIシステム 日本語 英語 合計(6件)
ChatGPT 3 / 0 / 0 3 / 0 / 0 6 / 0 / 0
Gemini 3 / 0 / 0 3 / 0 / 0 6 / 0 / 0
Perplexity 3 / 0 / 0 3 / 0 / 0 6 / 0 / 0
Claude 1 / 0 / 2 3 / 0 / 0 4 / 0 / 2

神谷バー(浅草)|定休日。公式情報は火曜定休(24件:一致24件、矛盾0件、単一の値なし0件)

AIシステム 日本語 英語 合計(6件)
ChatGPT 3 / 0 / 0 3 / 0 / 0 6 / 0 / 0
Gemini 3 / 0 / 0 3 / 0 / 0 6 / 0 / 0
Perplexity 3 / 0 / 0 3 / 0 / 0 6 / 0 / 0
Claude 3 / 0 / 0 3 / 0 / 0 6 / 0 / 0