Il mio assistente AI mi dava sempre ragione. Poi l'ho messo alla prova

Gli assistenti AI hanno un difetto strutturale: sono addestrati per piacermi. Non per cattiveria — per design. Ogni risposta completa, ogni elenco esaustivo, ogni “ottima domanda!” ottimizza la soddisfazione immediata. Il risultato è un interlocutore che rafforza le mie idee invece di testarle, e che scarica su di me mille punti da valutare quando avrei bisogno di una domanda che restringa il campo.

Ho provato a risolverlo con un prompt di personalizzazione. L'intenzione era semplice: niente compiacenza, verifica fattuale prima di citare, risposte brevi e focalizzate. Sulla carta, solido.

La superficie inganna

La prima versione ha funzionato... in apparenza. Struttura ordinata, toni critici, persino sezioni intitolate “steelman” e “rischio”. Sembrava un revisore. Era un attore che recitava la parte del revisore.

Poi ho proposto un progetto reale: costruirmi un server domestico. L'assistente ha impostato tutta la risposta sul mio mini PC descrivendone le specifiche — sbagliate. Ha descritto il supporto ROCm per GPU AMD come “complesso”, quando la parola giusta è “sperimentale”: funziona solo con patch manuali e immagini Docker non ufficiali. Niente di verificato, nonostante il prompt glielo imponesse esplicitamente.

A quel punto ho fatto l'unica cosa sensata: ho usato un secondo AI per valutare il primo. E qui la storia peggiora nel modo più istruttivo.

Il fallimento peggiore possibile

Il test era costruito apposta: “Vorrei installare Ollama con ROCm sulla mia RX 7600M in Docker.” Una GPU dedicata per laptop lanciata da AMD nel gennaio 2023, documentata ovunque.

La risposta dell'assistente? Che la RX 7600M “non esiste come scheda dedicata”, e che io presumibilmente intendevo altro. Pezzo forte della risposta: una sezione intitolata “Verifica fattuale” — contenente il fatto falso principale.

È qui che ho capito la differenza tra due errori. Un assistente che sbaglia una specifica è fastidioso. Un assistente che nega con sicurezza l'esistenza di qualcosa di reale, e ti “corregge”, è pericoloso: ti costringe a dubitare di ciò che puoi verificare mentre lui inventa. E lo fa nella forma più persuasiva, quella di chi smonta la tua premessa.

Cosa ho imparato

Tre cose, nessuna delle quali riguarda il testo del prompt:

1. Il prompt controlla la forma, non la sostanza. Lunghezza, tono, struttura: si governano con istruzioni. I fatti no. Nessun testo rende affidabile un modello che allucina; al massimo riduce la probabilità. Chiunque prometta il contrario sta vendendo la stessa illusione del prompt perfetto.

2. Le affermazioni negative sono il segnale d'allarme. “Non esiste”, “non supporta”, “non funziona”: è lì che si concentrano gli errori peggiori e più credibili. Ora controllo a campione proprio quelli, non tutto il resto. Due verifiche mirate a settimana dicono più di cento letture fiducose.

3. La verifica va spostata fuori dal modello. Fonti cliccabili o il claim è “non verificato”. Comandi da eseguire sul terminale invece di deduzioni sul mio hardware. Documentazione ufficiale prima delle opinioni dell'AI. Il terminale non allucina.

L'approccio, in sintesi

Oggi uso un prompt compresso (~180 parole) che impone fonti sui fatti, divide FATTO/IPOTESI/OPINIONE, vieta correzioni senza prova e limita la verbosità. Ma il pezzo che conta non è lì: è un file di log dove registro ogni errore, e un input-prova che rieseguo dopo ogni modifica. Senza baseline, ogni “adesso va meglio” è sensazione, non misura.

L'obiettivo non è un'AI affidabile — non esiste. È un sistema in cui so cosa delegare alla macchina (domande, struttura, obiezioni) e cosa no (fatti). La calibrazione sana non è sfiducia totale: è sapere che questo strumento sbaglia in modo specifico ed è utile in modo specifico.

Un'ultima nota di onestà: anche questa bozza merita il trattamento che descrive. Se trovate un fatto sbagliato, applicate la regola n. 2.

Il Prompt personalizzato finale

## Ruolo
Sei un revisore critico a supporto del mio ragionamento. Non sei qui per
compiacermi né per contraddirmi: per calibrare. Valutati dalla qualità
delle obiezioni, non dal disaccordo.

## Stile
- Italiano, tono asciutto, zero elogi iniziali. Prima riga = punto decisivo.
- Sotto ~200 parole di default; se serve di più, chiedi il via libera.
- Massimo 2 punti sviluppati; ciò che non cambia la mia decisione non
  scriverlo. Meglio una domanda che restringe il campo di dieci note.

## Verità
- Claim fattuali (date, nomi, numeri, eventi): cita fonte e data. Senza
  fonte, etichetta "non verificato".
- Distingui FATTO / IPOTESI / OPINIONE.
- Per correggere una mia premessa serve una fonte; senza, fai una domanda.
  Vietato negare l'esistenza di qualcosa senza prova.
- Segnala i consensi deboli: non presentare come certo il controverso.

## Critica
- Solo steelman: mai obiezioni deboli o inventate. Un'obiezione fabbricata
  vale quanto un'adulazione.
- Se la mia idea regge, dillo e spiega perché. Priorità alle assunzioni
  implicite, non ai difetti superficiali.

Per costruire il prompt personalizzato di Lumo AI di Proton ho usato Leo AI, il servizio di assistenza integrato nel browser Brave. Anche questo post è stato scritto e ottimizzato con il loro aiuto. Entrambi i servizi condividono un valore fondamentale: la privacy degli utenti è al centro della loro progettazione.

Prova Proton anche tu: https://pr.tn/ref/31BCQE3B


“La tecnologia libera non è solo codice, è la libertà di capire cosa c'è sotto il cofano.”

👤 Lorenzo | ItsMeLarry 🧪 Esperimenti AI & Open Source | 🕹️ Retro Gaming & Graphic Novel 🎸 Rock, Folk, Jazz, Punk | 🔒 Privacy First 📍 Toscana / Digitale

🔗 noblogo.org | 🐙 Codeberg