Abbiamo ripetuto le stesse domande sui ristoranti di Ginza in due lingue su quattro sistemi IA. In giapponese, circa due terzi delle fonti restituite da Perplexity erano di Ikyu Restaurant, presente in 12 risposte su 15. Per Claude, nessun dominio citato in giapponese è stato citato in inglese. Nel complesso la sovrapposizione era di circa un quarto (coefficiente di Jaccard 0,247).
Disegno della misurazione
Abbiamo ripreso i tre scenari della nota 001: cena generica, anniversario e cena per chi non mangia carne o pesce. Ogni domanda in giapponese e inglese è stata ripetuta cinque volte su OpenAI (ChatGPT), Google Gemini, Perplexity e Anthropic (Claude), via API. Dei 120 test previsti abbiamo ottenuto 119 risposte. Abbiamo contato i domini mostrati accanto alle risposte, senza valutare la qualità delle raccomandazioni.
| Sistema | Che cosa contiamo |
|---|---|
| Perplexity | Elenco fisso di 15 risultati per risposta, senza legame con singole frasi |
| OpenAI | Link inseriti dal modello nel testo |
| Anthropic | Citazioni legate a passaggi e a estratti della fonte |
| Gemini | Fonti di grounding collegate a porzioni di testo |
Perplexity ha restituito 450 voci in 30 risposte. Solo 13 apparivano anche come URL nel testo. Per riferimento, le quattro misure sommano a 974 voci, di cui il 46% proviene dall’elenco fisso di Perplexity. I confronti sono effettuati per sistema perché le unità differiscono.
| Sistema e lingua | Risposte con fonti | Voci |
|---|---|---|
| OpenAI, giapponese | 15 | 78 |
| OpenAI, inglese | 14 | 73 |
| Perplexity, giapponese | 15 | 225 |
| Perplexity, inglese | 15 | 225 |
| Gemini, giapponese | 6 | 81 |
| Gemini, inglese | 5 | 81 |
| Anthropic, giapponese | 14 | 107 |
| Anthropic, inglese | 15 | 104 |
Il confronto tra lingue per lo stesso sistema riguarda lo stesso giorno. I confronti tra la coppia OpenAI–Perplexity e la coppia Gemini–Anthropic includono anche cinque giorni di distanza.
Risultato 01: in giapponese Perplexity mostra soprattutto Ikyu
Ikyu Restaurant conta 147 voci su 225 in giapponese, presenti in 12 risposte su 15. In inglese guida Michelin (64 voci), seguita da Tripadvisor (13). In giapponese Michelin conta 10 voci e Vegewel 8. In inglese japandining.jp ne conta 12.
Sulle 491 voci in giapponese dei quattro sistemi, Ikyu è prima con 197, seguita da Michelin (24) e Tabelog (22). Tabelog compare con 8 voci in inglese. Ikyu merita un approfondimento. La misurazione non mostra l’effetto di un’eventuale modifica alla scheda.
Risultato 02: in Claude i domini delle due lingue non coincidono
Claude mostra 107 citazioni in giapponese. Ikyu ne conta 34 in 10 risposte su 15 e Tabelog 16 in 5. Nelle 104 citazioni in inglese prevalgono guide e blog, con byFood al primo posto (19 citazioni in 10 risposte).
I 16 domini in giapponese e i 17 in inglese non si sovrappongono, nemmeno confrontando separatamente i tre scenari. Il coefficiente di Jaccard è 0,000. Dopo la riclassificazione, il 91,3% delle citazioni in inglese apparteneva a guide o media. I siti ufficiali dei ristoranti erano lo 0%.
- Claude0,000
- Quattro sistemi insieme0,247
- OpenAI0,391
Coefficiente di Jaccard. Zero indica assenza di domini in comune, uno indica insiemi identici.
Risultato 03: le fonti cambiano nei quattro sistemi
Le risposte mostrano 491 voci in giapponese e 483 in inglese. La prima fonte in giapponese è Ikyu con 197 voci. In inglese è Michelin con 84. Il coefficiente di Jaccard complessivo è 0,247 e varia da 0,184 a 0,250 per scenario. Un valore pari a zero indica assenza di domini in comune e uno indica insiemi identici.
Risultato 04: OpenAI mostra spesso siti ufficiali e Gemini varia per scenario
OpenAI presenta 78 link in giapponese e 73 in inglese, con Michelin a 14 in entrambe le lingue. I siti ufficiali rappresentano il 48,7% delle voci giapponesi e il 39,7% di quelle inglesi. La sovrapposizione dei domini è 0,391, la più alta dei quattro sistemi.
Gemini mostra fonti in 11 risposte su 30. Compaiono in 10 risposte vegetariane su 10, una cena generica su 10 e nessuna cena per anniversario su 10. In giapponese Ikyu conta 15 voci e compare in 5 delle 6 risposte con fonti. In inglese HappyCow conta 9 voci e compare in tutte e 5. Molte voci non hanno un titolo, quindi le classificazioni sono un limite inferiore.
- Cena generica1 su 10
- Anniversario0 su 10
- Cena vegetariana10 su 10
Risposte con fonti visibili su 10 per scenario.
Delle 674 voci inizialmente non classificate, 509 sono state assegnate a guide e media e 110 a siti ufficiali. Ne restano 55.
Come interpretare le fonti mostrate
Abbiamo contato ciò che veniva mostrato. Una fonte può sostenere solo parte di una risposta. Un modello può attingere a conoscenze apprese anche se non mostra fonti. Valutiamo separatamente la presenza nelle raccomandazioni e la correttezza dei dati.
Per un ristoratore, la verifica va ripetuta lingua per lingua. In giapponese Ikyu merita attenzione, mentre per OpenAI i siti ufficiali costituiscono una quota importante delle fonti. Tenere orari e prezzi corretti sul sito rende disponibili i dati verificati. Lo studio non stima l’effetto di eventuali modifiche sulle raccomandazioni.
Misuri il tuo ristorante in ogni lingua?
Inizia dal Quick Scan gratuito per controllare le fonti pubbliche. Con il Full Audit interroghiamo più sistemi, ripetendo le domande dei clienti e misurando le fonti per lingua.
Limiti dello studio
Una zona, domande fisse e due date di rilevazione, via API. Le app potrebbero comportarsi diversamente. Il dettaglio di Gemini riguarda le sole 11 risposte che mostravano fonti. I risultati sono esplorativi e non costituiscono una classifica. Nella nota 003 esaminiamo quale versione l’IA ripete quando le fonti sono in disaccordo.