Una màquina que sempre respon amb la mateixa seguretat: la frase certa i la inventada sonen igual

«Hello God» posava el visitant davant una màquina a la qual es podia preguntar qualsevol cosa. El títol ja diu on és el nervi: què passa quan un sistema que genera respostes ocupa el lloc que abans ocupaven altres formes d'autoritat.

No és una qüestió religiosa. És una qüestió sobre com tractam les respostes que no sabem d'on surten.

Els sistemes de llenguatge actuals produeixen text plausible amb una seguretat uniforme. No dubten com dubta una persona: la frase que és certa i la que és inventada arriben amb la mateixa cadència. Aquesta uniformitat és, probablement, la característica més perillosa que tenen.

El disseny social hi entra per la porta de sempre: si una eina està canviant la manera com la gent accedeix al coneixement, com es presenta aquella eina no és un detall d'interfície.

Una màquina que sempre respon ensenya a no preguntar millor

Hi ha una diferència pràctica entre consultar una font i interrogar un oracle.

Consultar una font implica saber-ne l'origen, valorar-ne la fiabilitat, contrastar. Interrogar un oracle implica acceptar el que retorna. La primera operació exigeix criteri; la segona el suspèn.

El disseny de les interfícies conversacionals actuals empeny cap a la segona. Una caixa de text, una resposta immediata, cap indicació de com s'ha construït. La forma diu «confia».

Aquí hi ha una feina de disseny que no s'ha fet prou: comunicar la incertesa. Un sistema que digués amb claredat què sap malament, d'on ve una afirmació o quan està component en comptes de recordar, seria menys màgic i molt més útil.

Fer-ne una peça artística té sentit precisament per això: exagerar la forma d'oracle fins que es vegi. Quan una persona s'adona que estava parlant a una màquina com qui demana a una autoritat, l'efecte és més durador que qualsevol advertiment.

La creença no és un error: és com funcionam

Seria fàcil tancar això com una lliçó sobre credulitat. No ho és.

Les persones deleguen contínuament la confiança: en el metge, en el diari, en el professor, en el veí que en sap. És una operació raonable, perquè ningú no pot verificar-ho tot. El problema no és delegar, sinó delegar sense saber en què.

El que fa singular la delegació en un sistema generatiu és que no hi ha ningú al darrere de la frase concreta. No és que la font sigui poc fiable: és que no hi ha font. Hi ha un càlcul sobre milions de textos que produeix una seqüència probable.

Això no vol dir que el resultat sigui fals. Sovint és correcte i útil. Vol dir que la relació de confiança que hi establim no té el mateix fonament que la que tenim amb una persona o una institució, i que convindria no confondre-les.

Un projecte cultural pot fer aquesta distinció palpable millor que un text. El nostre, a Campos, ho intentava amb humor: posar la paraula «Déu» damunt la taula és una manera d'obligar a mirar què hi estam posant realment.

El context importa: una peça dins una festa de poble

Hi ha una decisió que val la pena explicar, perquè és la que fa que una peça així funcioni o no: on es posa.

La Nit de l'Art de Campos no és un centre d'art. És un poble amb gent que surt al carrer, famílies, majors, gent que no ha llegit res sobre intel·ligència artificial i que en sent parlar cada dia.

Fer la peça allà obliga a renunciar a la complicitat del públic especialitzat. No serveix la referència interna ni el to críptic. Ha de funcionar per a algú que s'hi atura tres minuts.

Aquesta restricció sol millorar les peces. Obliga a trobar la formulació més clara d'una idea, i la formulació més clara sol ser també la més sòlida. La que només s'aguanta amb el context de sala sovint no s'aguanta.

També canvia el valor social del que es fa. Una reflexió sobre tecnologia dins un circuit d'art arriba a qui ja hi pensa; la mateixa reflexió a la plaça arriba a qui hi conviu sense haver-hi pensat mai. La segona és, per a nosaltres, la que justifica la feina.

De tot plegat se'n deriven quatre criteris per a qualsevol projecte cultural sobre tecnologia. El primer és el d'incertesa visible: mostrar què no sap el sistema forma part d'explicar-lo. El segon és el d'origen: distingir entre una font i un càlcul. El tercer és el de context: la peça es dissenya per al lloc real on serà i per a qui hi passarà. I el quart és el d'humor: riure d'una tecnologia és una manera eficaç de deixar de témer-la i començar a jutjar-la.

Quan una màquina respon sempre, la pregunta important deixa de ser què diu i passa a ser què hi posam nosaltres.