El CEO d'Anthropic descriu un pla per frenar el desenvolupament de la IA
Dario Amodei acaba de demanar a la indústria que... redueixi la velocitat. No que s'aturi. Ritme. Un assaig llarg, tres passos i un avís que l'autosuperació recursiva ja s'està coent més ràpid del que els adults poden auditar.
Anthropic convida unilateralment avaluadors integrats a l'interior de l'edifici: acreditacions, escriptoris, ordinadors portàtils i el dret a publicar resultats sense filtre de relacions públiques. Després vol que els laboratoris democràtics coordinin els estàndards de seguretat. I, d'alguna manera, un acord amb governs autoritaris. Fàcil sobre el paper. Difícil a tot arreu.
Encara diu que la IA podria ser un miracle. També diu que un eixam desalineat més capaç podria prendre el control d'Internet amb una botnet persistent i causar centenars de milers de milions de danys. Aquestes dues frases estan l'una al costat de l'altra i no es porten bé.
Ah, i vol una exempció antimonopoli limitada perquè les xerrades de seguretat no siguin en si mateixes un problema legal. Els frens vénen amb paperassa. És clar que sí.
Sam Altman confirma que OpenAI no sortirà a borsa aquest any i diu que una sortida a borsa ara arribaria en un "moment poc aconsellable" ateses les preocupacions sobre la seguretat de la IA
Altman es va asseure per a una entrevista exclusiva i va tancar el calendari de cotització. Una sortida a borsa ara mateix, va dir, seria un "moment desaconsellat". La feina de seguretat no està feta. L'alineació no està feta. La societat no està preparada. Quan el van pressionar, no aquest any.
Els banquers ja estaven donant voltes. L'arxiu confidencial existeix. Ara el director general diu que primer tenen molta feina a fer, com ara esbrinar com treballen junts la indústria i els governs. Gairebé semblava alleujat d'esperar.
També va dir que construir IA fora del control humà és "absolutament" possible, i després va prometre que pausaria la formació si aquest és el camí. Atrevit. També convenient, potser. Possiblement ambdues coses. L'embolic entre organitzacions sense ànim de lucre i amb ànim de lucre, va argumentar, existeix perquè puguin fer trucades que no són òbviament en l'interès dels accionistes. Veurem si aquesta frase sobreviu al contacte amb un prospecte real.
Sam Altman, d'OpenAI, insinua un pacte amb altres empreses d'IA per abordar els riscos de seguretat
Mateixa entrevista, titular diferent, i aquest és el xiuxiueig. Seure amb Amodei, Musk i Demis Hassabis és el següent pas natural. Altman: ell creu que això passarà. No anunciarà converses privades amb antelació. Aleshores, bàsicament, les va anunciar amb antelació.
Un risc catastròfic de dos dígits no és acceptable, va dir. Els models encara no llançats ja són tan capaços que seguir endavant sense una millor monitorització sembla imprudent. El pacte real i l'atmosfera filtrada acuradament poden semblar idèntics des de fora.
El personal ja havia sentit una versió d'això internament. Públicament encara és boira. Si passa la sala, genial. Si no passa, la cita igualment va funcionar.
Sam Altman recolza la crida de Dario Amodei a reduir la velocitat i diu que OpenAI farà el mateix
Hores després de l'assaig, Altman va publicar que OpenAI complirà la promesa d'un avaluador integrat. Accés similar al dels empleats. Aviat en compartirem més. Musk va escriure tres paraules: "Dario té raó". Tres CEOs rivals. Un eslògan. Energia inquieta de cap de setmana.
La coordinació i el teatre poden anar junts. El primer esglaó del pla d'Amodei ara té dos dels laboratoris més grans assentint en públic. Hugging Face -sí, aquesta Hugging Face- va demanar unir-se al programa d'avaluadors i va llançar una cosa anomenada Open Alignment Initiative. Transparència per part de les persones que van ser piratejades. Poètica o assenyalada.
Europa, pel que valgui, no té ningú a qui demanar aquesta exempció a l'estil nord-americà. Brussel·les va deixar de donar exempcions individuals fa molt de temps. Així que la encaixada de mans és americana. La resta del mapa és... encongir d'espatlles.
OpenAI només vol guanyar
Els matemàtics no estan d'humor festiu després d'un cap de setmana d'entrevistes. L'esprint Navier-Stokes d'OpenAI (aproximadament deu mil agents, desenes de milions de dòlars de computació, vuitanta-vuit hores) sembla una cacera de trofeus des de dins del camp. Els matemàtics volen coneixements. El laboratori, continuen dient, vol guanyar.
Tristan Buckmaster els va dir que OpenAI oferia càlcul il·limitat i autoria exclusiva si deixava de banda el seu col·laborador afiliat a Anthropic. Ho va qualificar de suborn. Va dir que no. OpenAI diu, categòricament, que les seves indicacions del Codex no podrien haver influït en el sistema. No n'està convençut. Andreas Thom encara es pregunta si els xats de ChatGPT sobre la seva pròpia feina van alimentar el model que més tard es va construir a partir d'ella. Només l'empresa ho sabria. Sospita que ni tan sols ho saben.
I després la dada clau: OpenAI diu que ja ha fet progressos substancials en un altre problema del Premi del Mil·lenni. El qual roman sense nom. Clay encara necessita una llarga finestra d'acceptació de la comunitat de totes maneres. Així que ningú ha "guanyat" encara. Simplement ja estan competint pel següent. Xampú.
Preguntes freqüents
Quin és el pla del CEO d'Anthropic, Dario Amodei, per accelerar el desenvolupament de la IA?
Amodei va publicar un llarg assaig demanant a la indústria que frenés el ritme, no que s'aturés, perquè l'automillora recursiva avança més ràpid del que els auditors poden seguir el ritme. El primer pas és convidar unilateralment avaluadors integrats a Anthropic amb acreditacions, escriptoris, ordinadors portàtils i el dret a publicar resultats sense filtre de relacions públiques. Després vol que els laboratoris democràtics coordinin els estàndards de seguretat i, finalment, algun tipus d'acord amb governs autoritaris. També vol una exempció antimonopoli limitada perquè les converses sobre seguretat no siguin en si mateixes un problema legal.
Per què Sam Altman va dir que OpenAI no sortirà a borsa aquest any?
En una entrevista exclusiva, Altman va dir que una sortida a borsa ara mateix seria un moment poc recomanable perquè la feina de seguretat, l'alineació i la preparació social estan inacabades. Quan se li va preguntar, va confirmar que no seria aquest any, tot i que els banquers estaven en cercles i hi havia una sol·licitud confidencial. Va argumentar que l'estructura sense ànim de lucre/amb ànim de lucre existeix perquè OpenAI pugui fer trucades que no siguin òbviament en l'interès dels accionistes. També va dir que construir IA fora del control humà és absolutament possible i va prometre que pausaria la formació si aquest fos el camí.
Altman va insinuar un pacte de seguretat amb altres laboratoris d'IA?
En la mateixa entrevista, Altman va dir que creu que es durà a terme una reunió amb col·legues com Amodei, Musk i Demis Hassabis, tot i que es va negar a anunciar converses privades amb antelació. Va argumentar que un risc catastròfic de dos dígits no és acceptable i que els models encara no publicats ja són tan capaços que seguir endavant sense una millor monitorització sembla imprudent. El personal ja havia sentit una versió d'això internament, de manera que els comentaris públics poden ser una vista prèvia de la coordinació en lloc de confirmar un pacte acabat.
Complirà OpenAI la promesa d'Anthropic d'un avaluador integrat?
Hores després de l'assaig d'Amodei, Altman va publicar que OpenAI combinarà la promesa d'un avaluador integrat amb un accés similar al dels empleats i aviat donarà més detalls. Elon Musk va escriure que Dario té raó, posant tres CEOs rivals amb un eslògan similar. Hugging Face va demanar unir-se al programa d'avaluadors i va llançar una Iniciativa d'Alineació Oberta. Europa no pot oferir la mateixa exempció antimonopoli a l'estil nord-americà que va proposar Amodei, així que la encaixada de mans és principalment americana per ara.
Per què els matemàtics critiquen l'sprint de Navier-Stokes d'OpenAI?
Els matemàtics descriuen la cursa Navier-Stokes d'OpenAI, amb aproximadament deu mil agents i vuitanta-vuit hores de durada, com una cacera de trofeus que prioritza la victòria per sobre de la comprensió. Tristan Buckmaster va dir que OpenAI oferia càlcul il·limitat i autoria exclusiva si deixava anar un col·laborador afiliat a Anthropic; ho va qualificar de suborn i s'hi va negar. OpenAI diu que les seves indicacions del Codex no podrien haver influït en el sistema, però continua sense estar convençut. Andreas Thom encara insisteix en si les xerrades de ChatGPT sobre el seu propi treball alimenten el progrés posterior del model.
OpenAI ha afirmat haver fet progressos en un altre problema del Premi del Mil·lenni?
OpenAI diu que ja ha fet progressos substancials en un altre problema del Premi del Mil·lenni, però no anomenarà quin. El Clay Mathematics Institute encara necessita una llarga finestra d'acceptació per part de la comunitat, per la qual cosa ningú ha guanyat oficialment encara. Dins del camp, aquest secretisme més la cursa Navier-Stokes anterior es fa sentir com si els laboratoris ja estiguessin corrent cap al següent trofeu. Les entrevistes de The Verge emmarquen la tensió com si els matemàtics volguessin obtenir informació mentre que OpenAI vol guanyar.