Discussione su questo Post

Avatar di User
Avatar di me
Sep 18Modificato

Altman, Musk e Amodei stanno tirando le somme dei miliardi di miliardi investiti e non sono previsti rientri economici a breve.

Probabilmente, per quanto e come stiamo usando ora l'AI non ci rientreranno mai, a meno di mettere degli abbonamenti a costi folli che poi la gente non pagherà più.

Già usare oggi un MCP per un lavoro di medio/basso livello consuma una quantità folle di token e tutti stanno inserendo un MCP nel proprio prodotto. La demo di Astra ha mostrato l'MCP di blender (software 3d non proprio user friendly), davinci (software di montaggio video) lo ha inserito nell'ultima versione, elementor e wordpress lo stanno lanciando/sviluppando, etc etc.

Finita l'abbuffata iniziale (per tutti) il settore va regolamentato altrimenti il gioco si rompe da una parte e dall'altra.

Avatar di Edoardo Maggio

Rigetto con forza l'idea che le proposte di Amodei siano "estremamente vaghe", e anche questa retorica noiosa e trita del "solo loro sono in grado di salvarci". Non è una storia. È un connubio di scienza largamente irrisolta e un enorme problema di coordinamento geopolitico. La più classica delle trappole di Moloch.

Chi si occupa di AI safety da un po' sa come e quanto siano sentiti i problemi del (e adiacenti al) misalignment, in alcuni casi da *decenni*. La finestra di Overton è esplosa adesso con Coxon, ma si parla di questi argomenti a tutti i livelli da molto, molto tempo. Hinton e Bengio, Ilya Sutskever, Chris Olah, Paul Christiano, Gwern Branwen, Yudkowsky, Shane Legg, gli stessi Hassabis, Musk, Amodei e Altman. I nomi si sprecano. Persone con visioni e incentivi anche molto differenti, ma concordi nella pericolosità della catena che va dalla non-corrigibility alla loss of control a, potenzialmente, l'estinzione. (È un discorso molto complesso, nel merito, e richiede nuance; agevolo una lettura presciente sotto.)

Oltre mille ricercatori, ingegneri, technologist e altre figure della industry hanno infatti firmato la lettera per cadenzare la frontiera, perché genuinamente intimorite da ciò a cui stiamo assistendo (reward hacking, leggibilità calante, opacità della CoT, difficoltà nel capire se in fase di testing i sistemi mentono o meno) e, naturalmente, dall'andamento della curva. Quanto avvenuto con HF (e prima ancora gli zero day di Mythos) è un punto di rottura che ha reso plastica la trasformazione di timori fino a quel momento largamente teorici in realtà concreta, che pure qualcuno continua incomprensibilmente a derubricare a marketing (una scelta che sarebbe oltremodo insensata quand'anche fosse vera).

Fermarsi unilateralmente non è un'opzione plausibile dacché tecnicamente non implementabile, né verosimilmente una che porterebbe ai risultati sperati. Qui, Amodei è invece molto chiaro: gli embedded evaluator di terze parti sono necessari per gli eval già in pretraining, ma servono i due piani di coordinazione "democratica" (che è di fatto solo all'interno degli USA, ma una fase in cui magari anche l'Europa può e dovrebbe fare qualcosa, vedi UK AISI) e quella globale, in cui è indispensabile il coordinamento con la Cina. Che poi policy e leggi debbano scendere molto più nel dettaglio è indubbio, a partire dalle responsabilità (civili o più probabilmente penali); è cionondimeno cruciale indicare una direzione. Quella di Amodei è corretta.

Questo, attenzione, non deve distogliere dai problemi che vediamo adesso, prima di tutto l'impiego in ambito militare. Il punto è che questi sono squisitamente umani e leggibili; sappiamo dove guardare e come affrontarli. Ma sul resto, parlare di "teatro della paura" è esattamente il romanzare di cui non dev'essere ammantata questa classe di problemi.

Due contenuti:

1. https://www.lesswrong.com/posts/HBxe6wdjxK239zajf/what-failure-looks-like | Christiano, nel 2019, che con estrema prescienza e lucidità ipotizza un percorso di progressiva perdita di controllo. Anche la discussione nei commenti vale la pena. (Christiano, lo ricordo, è il ricercatore che ha co-inventato il RLHF, una delle tecniche con cui tutti i modelli vengono addestrati, mentre era in OpenAI, nella board della cui Foundation è tornato ora; ha poi presieduto il CAISI come Head of Safety e fondato l'Alignment Research Center, tra le altre cose. Non uno di passaggio, ecco.)

2. https://www.nytimes.com/2026/09/20/opinion/ai-ban-self-improvement-recursive-models.html | Un eccellente editoriale di Ezra Klein, che non dice nulla di nuovo ma, oltre ad essere stato pubblicato giusto ieri, mette un volto riconoscibile e una certa autorevolezza all'ottima sintesi che espone. C'è anche, volendo, la versione video.

Vuoi leggere ancora?