Una tavola di lookup è cosciente?
@aitech - Un interessante punto di vista filosofico, pensando agli attuali LLM
@mau @aitech Sul tema compressione, tempo fa avevo salvato questo articolo di Ted Chiang: https://www.newyorker.com/tech/annals-of-technology/chatgpt-is-a-blurry-jpeg-of-the-web
Un passaggio che avevo sottolineato:
“Since 2006, an A.I. researcher named Marcus Hutter has offered a cash reward—known as the Prize for Compressing Human Knowledge, or the Hutter Prize—to anyone who can losslessly compress a specific one-gigabyte snapshot of Wikipedia smaller than the previous prize-winner did. […] Hutter believes that better text compression will be instrumental in the creation of human-level artificial intelligence, in part because the greatest degree of compression can be achieved by understanding the text.”
Qui un video di @antirez che avevo salvato insieme all’articolo precedente.
Parla di un progetto sperimentale di Fabrice Bellard per un algoritmo di compressione che sfrutta la capacità degli LLM di predire il token successivo, con una codifica che associa un minor numero di bit alla probabilità più alta e viceversa.
Mi sembra riecheggiare la Teoria dell’informazione integrata
https://it.wikipedia.org/wiki/Teoria/_dell’informazione/_integrata
Ti proponevo questa teoria perché la teoria di Penrose prova a spiegare il fenomeno della coscienza come fenomeno quantistico del cervello umano. Chiaramente secondo questa definizione la coscienza può essere solo un fenomeno legato al cervello.
Premesso che non credo si possano definire coscienti gli LLM, ma se vogliamo comunque porci il problema, una teoria come quella dell’informazione integrata (che tra parentesi è considerata pseudoscienza da un certo numero di scienziati) può aiutare a passare dal cervello fisico a un generico sistema che elabora informazioni, come LLM o computer in genere.
Non credo però che un LLM sia riduzionista. Come possiamo spiegare un fenomeno come Chain of Thought in modo riduzionista? Questo e altri secondo me sono comportamenti emergenti.
