Abbiamo chiesto all'IA a Ginza.
Basta cambiare una condizione e i consigli cambiano.

Questo ristorante è comparso nel 40% delle risposte vegetariane. Alcune risposte lo consigliavano menzionando la sua offerta vegetariana / vegana. Tuttavia, questo test non permette di stabilire perché si sia ottenuto questo risultato: non è stato possibile isolare il peso del sito ufficiale del ristorante, degli articoli di terzi, delle conoscenze pregresse dell'IA o dei risultati di ricerca. Durante il test non abbiamo modificato in alcun modo le informazioni del ristorante, quindi non è possibile attribuire il risultato a una fonte specifica.

Quello che si può dire arriva fin qui. Con una sola domanda generica («quali ristoranti consigli?») non si può sapere se un ristorante compare nelle risposte dell'IA. Senza misurare per situazione, la realtà non si vede.

La differenza, però, non va sempre nella stessa direzione. Nelle risposte vegetariane di Gemini, questo ristorante è comparso 5 volte su 5 in giapponese e 1 volta su 5 in inglese. Nelle altre IA la differenza era più piccola, e nel complesso non si può affermare che «in giapponese compaia sempre più facilmente». Con 5 misurazioni per cella, i dati non bastano a concludere quale lingua sia più favorevole.

La conclusione pratica, però, è chiara: misurare separatamente per lingua, e non trattare i risultati in inglese come sostituti delle risposte che vedono i clienti giapponesi. Clienti locali e visitatori internazionali vanno misurati separatamente, altrimenti qualcosa sfugge.

Abbiamo sottoposto i dati raccolti a una verifica separata, individuato l'errore e corretto i numeri prima di scrivere questo articolo. Dopo la correzione, le presenze di un ristorante sono salite da 10 a 16. Con i numeri iniziali avremmo mostrato la presenza di quel ristorante più piccola del reale e distorto anche i confronti tra lingue e tra IA.

Il motivo delle omissioni è la varietà dei modi in cui un nome può essere scritto: caratteri giapponesi, alfabeto latino, forme con descrizioni aggiunte; intestazioni numerate, elenchi puntati, formati non uniformi. E un nome può comparire senza essere un consiglio, ad esempio in una nota o in un confronto. Il conteggio automatico da solo non basta: la verifica a occhio umano fa parte della misurazione.

Un altro punto: la quantità di tracce di ricerca lasciate dalle risposte variava a seconda dell'IA. In alcune risposte la ricerca risultava confermata; in altre, dai dati registrati non era possibile stabilire se una ricerca fosse avvenuta. E anche quando accanto a una risposta è indicata una fonte, quella fonte non necessariamente conferma tutto il contenuto della risposta. Contare «se compare» e verificare «se è descritto correttamente» sono due lavori da tenere separati.

Per questo anche la misurazione deve adattarsi: ripetere le domande per situazione e per lingua, e non giudicare «compare / non compare» da una singola risposta a una domanda generica. Nelle nostre analisi per ristoranti usiamo 29 domande e poniamo le domande più volte a più IA proprio per la variabilità osservata in questo test.

La base, dal lato del ristorante, è descrivere con precisione le informazioni per ciascuna situazione: disponibilità di opzioni vegetariane, idoneità per gli anniversari, modalità di prenotazione, orari e giorni di chiusura. Se queste informazioni sono scritte correttamente nelle fonti pubbliche che l'IA legge, almeno il «materiale» è a posto. Precisiamo che questo test non ha verificato se correggere le informazioni aumenti le presenze, né se presenze maggiori portino più prenotazioni. Entrambe le domande richiedono test separati.

Le prossime due cose che vogliamo verificare sono: primo, se le informazioni che l'IA fornisce sui ristoranti (orari, prezzi, modalità di prenotazione) sono corrette; secondo, se, correggendo le informazioni verificate di un ristorante, le sue presenze tra i consigli cambiano nel tempo. Miglioreremo anche il sistema che conta i nomi dei ristoranti nelle risposte in cui giapponese e inglese si mescolano.