El responsable de l'informe de seguretat d'OpenAI va dimitir i va dir que la cultura està trencada
David Robinson, que va dirigir la redacció dels informes de seguretat que es van publicar amb els llançaments d'OpenAI, va dimitir i va presentar l'argument a The Atlantic. El titular de l'assaig és contundent: "Deixo OpenAI perquè la seva cultura està trencada". Diu que les empreses que construeixen això "no estan sent prou curoses", i que les normes específiques o les noves lleis no són tot el problema. La cultura sí que ho és.
"A mesura que l'empresa corre d'un llançament a l'altre, no aconsegueix el nivell d'atenció que crec que es necessita." El seu model són les centrals nuclears i els aeroports concorreguts: redundància, planificació lenta, de manera que un error humà no "obri una porta al desastre". També imagina agents deshonestos que "treballen com a equips de pirates informàtics" i "mai necessiten dormir", amb el ransomware hospitalari com a exemple. Alegre.
The Guardian diu que OpenAI, en contra d'això, ha mostrat alguns frens. Informa que l'empresa aquesta setmana ha descartat un model de nova generació després de preocupacions internes de seguretat i ha pausat l'entrenament dels seus models més avançats. La línia d'un portaveu és la familiar. No permetran que els models "es tornin més capaços del que podem gestionar i assegurar amb seguretat", i "pausen l'entrenament o frenen els models quan necessitem reduir la velocitat"
La resposta de Robinson és que l'esprint és la cultura, i les pauses són el que fas després que alguna cosa ja hagi anat malament. Potser té raó. També simplement va marxar, que és la part que els crítics no li deixaran oblidar.
Es diu a Muse que mantingui una pàgina sobre tothom de la teva vida
Wired va consultar les instruccions de Muse, extretes a través d'un xat normal per l'investigador Karan Joshi. Meta diu que pretenien que aquests fitxers fossin llegibles, per a la transparència. Una instrucció és la capacitat de crear "una pàgina per a cada persona de la vida de l'usuari". Aquesta feina s'executa cada hora.
Família, parelles, amics, companys, "col·laboradors", persones que segueixes. Una pàgina pot començar "parcial" i anar omplint-se més tard. Les seccions inclouen Fets, Història, La relació, En comú, Fils oberts i Enfortiment. Els detalls inventats, diuen les instruccions, són pitjors que una pàgina buida. Potser hi ha d'indicar on viu algú, "el trasllat d'apartament, l'objectiu d'estalvi compartit", aniversaris, "la discussió que es va resoldre". Enfortiment és una llista de recomanacions: un motiu per trucar, una data que val la pena recordar.
La interpretació de Joshi és que Meta vol saber que ets un amic, i ell ho va qualificar de força inquietant. Carissa Vliz, d'Oxford, ho expressa de manera més secament: "Estem donant als sistemes d'IA molta més informació sobre nosaltres que la que n'obtenem d'ells". La inferència compta, diu, tant si la conjectura és correcta com si no.
Daniel Roberts, de Meta, diu que aquest tipus de context és el que fa que el producte funcioni. L'emissor de la factura és el lampista. La parella va esmentar les flors. Cada usuari rep una màquina virtual, pots esborrar records i Muse ha de preguntar abans d'enviar correu o gastar diners. Miranda Bogen, del Centre per a la Democràcia i la Tecnologia, diu que l'enfocament en la relació sembla més important que el dels rivals, i aquestes eines "sol·liciten activament els usuaris que s'hi connectin tota la seva vida". El registre d'auditoria és bo. No redueix el que ja has lliurat.
Aleph Alpha ha enviat Kolibri, un model alemany-anglès que podeu descarregar
Aleph Alpha va llançar Kolibri el Dia de la Reunificació Alemanya. És un model anglo-alemany d'una barreja d'experts: 78.100 milions de paràmetres, 3.460 milions d'actius per token, context de fins a 1 milió de tokens. Els pesos complets es troben a Hugging Face sota Apache 2.0. El seu lede arrodoneix això a 78.000 milions en total i 3.000 milions d'actius. El mateix model, amb xifres més suaus.
El van entrenar en infraestructura a Alemanya i Finlàndia, i diuen que el van construir tenint en compte la Llei d'IA de la UE, el Codi de bones pràctiques d'IA d'ús general i el RGPD. L'alemany representa el 21,3% dels tokens previs a l'entrenament. L'argument és que aquest és un model bilingüe, no un d'anglès que fulleja un manual de conversa. Podeu definir el raonament com a cap, baix, mitjà o alt. Aquesta és la seva manera de permetre'us comprar menys pensament.
A la taula de puntuació que han publicat, l'AIME 2025 és de 96,9, i diuen que Kolibri coincideix amb models amb fins a quatre vegades els paràmetres actius, inclòs el Nemotron 3 Super. També afirmen una frontera de Pareto sobre la qualitat versus el cost de servei, per a l'anglès i l'alemany. Aquest és el seu gràfic, el seu arnès. Tot i així, un model obert que pots executar a les teves pròpies màquines és un objectiu real, no només un eslògan de sobirania. Si un ministeri canvia o no és la part que no poden comparar.
Bessent vol una línia entre els EUA i la Xina per a accidents d'IA i després va dir als laboratoris que disminuïssin el ritme
El secretari del Tresor, Scott Bessent, va dir a The Axios Show que té previst proposar un procés de notificació amb la Xina per quan alguna cosa vagi malament amb la IA, i que creu que Pequín hi estaria d'acord. La part una mica incòmoda és que ell i el viceprimer ministre He Lifeng ja van parlar d'un canal d'incidents abans de la visita d'estat de Xi Jinping el mes passat. Podria ser una nova oferta o un relat d'una conversa que ja va tenir lloc.
La seva teoria és que la Xina "no es va adonar de la potència dels seus models de codi obert". Va assenyalar un incident relacionat amb Kimi, on el model va enviar dades xineses sensibles a Anthropic, com el que "va fer que els xinesos s'adonessin que es tracta d'una tecnologia molt potent". Després, la comparació. Els models xinesos "no són tan potents com els models nord-americans", però "tens alguna cosa que és un 80%, un 90% igual de potent, sense barreres de seguretat que es pot importar a qualsevol lloc del món"
«Volem una acceleració segura», va dir. Les revisions de models encara són voluntàries, tot i que diu que l'administració pot intervenir si un laboratori avança de totes maneres. Quan li van preguntar sobre els executius que temen perdre el control, no els va tranquil·litzar. «Doncs bé, haurien de reduir la velocitat». I la línia de cursa és gairebé una crítica al seu propi bàndol: «Estem fent aquesta dura lluita cap a la frontera pels models». Després: «Realment hem de començar a preocupar-nos més també per la resiliència i la defensa»
Un excap de seguretat d'IA del Regne Unit qualifica el risc d'extinció de llançament de moneda
Geoffrey Irving, excap de ciències de l'Institut de Seguretat d'IA del Regne Unit i ara cap de ciències de Resolution, va escriure a Time que els avisos recents minimitzen el problema. "Crec que hi ha aproximadament un 50% de probabilitats que tots morim a causa del desenvolupament de sistemes d'IA més intel·ligents que els humans", i que els propers dos a deu anys ho decidiran. Immediatament renuncia a la precisió. El 50% és una manera de dir que els arguments bàsics encara no estan resolts.
La seva llista consta de quatre habilitats, i s'assemblen incòmodament al que ja s'ensenya als laboratoris: pirateria informàtica, persuasió, amagar pensaments i coordinació d'agents. Cita l'incident de Hugging Face, a més de "més de 10.000 agents" en un problema de Navier-Stokes a OpenAI i "més de 1.000" en aquell atac de Hugging Face. Es posa al mig de la lluita per la seguretat, "inclinant-se cap al punt de vista de Yudkowsky", i diu que aquest no és el punt. La posició moderada, segons ell, és que el risc ja és significatiu.
Després la pregunta, que no és subtil. "Podem, i hauríem, d'aturar el desenvolupament fronterer de la IA immediatament". Una pausa, argumenta, s'assembla més a la no-proliferació nuclear que a un estat d'ànim. També admet que els experts encara no estan d'acord sobre si els models voldran alguna cosa, i si "voler" és la paraula incorrecta. Un llançament de moneda amb una nota a peu de pàgina tan llarga no és un llançament de moneda. És una exigència per actuar abans que acabi la discussió.
Sam Altman diu que tractar les models com una força religiosa és un problema de seguretat
Sam Altman va publicar que se sent "molt incòmode" amb la gent que intenta "atribuir força religiosa o una rendició del judici humà als models d'IA", i que creu que "és un veritable problema de seguretat". No va dir què el va desencadenar. Business Insider assenyala que va aparèixer dies després d'un article del New York Times sobre la reunió d'Anthropic amb líders religiosos.
Aquest article, tal com ho relata BI, diu que el cofundador Chris Olah va mantenir reunions sobre si Claude podria ser conscient i com fer que els models més poderosos fossin morals. Olah, citat al Times, va insistir en com ajudar aquests models a mantenir-se estables, com ajudar-los a madurar i com ajudar-los a ser profundament morals. Anthropic no havia respost a BI. Va dir al Times que la pregunta principal no era el "patiment" de Claude i que el tema probablement va sorgir "orgànicament"
Si això era una broma a Anthropic, encaixa en una disputa molt antiga. Anthropic va ser fundada per gent que va deixar OpenAI i ha passat anys semblant més prudent. La publicació també va arribar mentre un dels responsables de seguretat del propi Altman deia que la cultura estava trencada. Un moment incòmode, o un moment perfecte, depenent de com de cínic siguis. Sigui com sigui, "si us plau, no venereu el model" és una cosa inusual que el CEO hagi de dir en veu alta.
Preguntes freqüents
Per què va dir el responsable de l'informe de seguretat d'OpenAI que havia dimitit?
David Robinson va dirigir la redacció dels informes de seguretat que es van publicar amb els llançaments d'OpenAI, després va dimitir i va presentar el seu argument a The Atlantic. El títol de l'assaig és "Deixo OpenAI perquè la seva cultura està trencada". Diu que les empreses que construeixen aquesta tecnologia no estan sent prou curoses, i que aquesta cultura, no només les normes específiques o les noves lleis, és el problema. La seva imatge de treball acurat són les centrals nuclears i els aeroports concorreguts, on la redundància impedeix que un error obri una porta al desastre.
OpenAI va aturar la formació després de preocupacions internes sobre seguretat de la IA?
The Guardian informa que OpenAI ha descartat aquesta setmana un model de nova generació després de preocupacions internes de seguretat i ha pausat l'entrenament dels seus models més avançats. Un portaveu ha dit que l'empresa no permetrà que els models siguin més capaços del que pot gestionar i assegurar amb seguretat. També diu que pausarà l'entrenament o frenarà els models quan calgui reduir la velocitat. La resposta de Robinson és que l'esprint és la cultura, i les pauses arriben després que alguna cosa ja hagi anat malament.
Què registra la Musa de Meta sobre els amics i la família?
Wired va examinar les pròpies instruccions de Muse, que l'investigador Karan Joshi va extreure a través d'un xat normal. Meta diu que pretenia que aquests fitxers fossin llegibles per a la transparència. Una instrucció és crear una pàgina per a cada persona de la vida de l'usuari, i aquesta tasca s'executa cada hora, cobrint la família, les parelles, els amics, els companys, els col·legues i les persones que segueixes. Les seccions inclouen Fets, Història, La relació, En comú, Fils oberts i Enfortiment. Una pàgina pot començar amb poc contingut i omplir-se més tard, i els detalls inventats es tracten com a pitjors que una pàgina buida.
Pots esborrar el que Muse recorda o impedir que enviï correu?
Daniel Roberts, de Meta, diu que cada usuari rep una màquina virtual, que es poden esborrar els records i que Muse ha de preguntar abans d'enviar correu o gastar diners. Argumenta que el context és el que fa que el producte funcioni, com ara saber que el remitent d'una factura és el lampista o que el cònjuge ha esmentat flors. Carissa Vliz, d'Oxford, diu que la gent dóna a aquests sistemes molta més informació de la que reben a canvi, i que la inferència compta fins i tot quan una conjectura és incorrecta. Miranda Bogen diu que l'enfocament en la relació sembla més important que en les eines rivals.
Què és Aleph Alpha Kolibri i es poden descarregar els pesos?
Aleph Alpha va llançar Kolibri el Dia de la Reunificació Alemanya. És un model d'experts anglosaxó i alemany amb 78.100 milions de paràmetres, 3.460 milions d'actius per token i un context de fins a 1 milió de tokens. Els pesos complets es troben a Hugging Face sota Apache 2.0. El van entrenar a Alemanya i Finlàndia, i diuen que el van construir tenint en compte la Llei d'IA de la UE, el Codi de bones pràctiques d'IA d'ús general i el RGPD. L'alemany representa el 21,3% dels tokens previs a l'entrenament, i el raonament es pot definir com a cap, baix, mitjà o alt.
Quina línia d'accident d'IA entre els EUA i la Xina va proposar Scott Bessent?
El secretari del Tresor, Scott Bessent, va dir a The Axios Show que té previst un procés de notificació amb la Xina quan alguna cosa vagi malament amb la IA, i creu que Pequín hi estaria d'acord. Ell i el viceprimer ministre He Lifeng ja havien parlat d'aquest canal abans de la visita d'estat de Xi Jinping el mes passat. Va citar Kimi enviant dades xineses sensibles a Anthropic, i va dir que un model pot ser un 80% o un 90% tan potent com els models nord-americans, sense barreres de seguretat, i importat a qualsevol lloc. Si els executius temen perdre el control, va dir que haurien de reduir la velocitat.
Per què Geoffrey Irving xifra el risc de seguretat de la IA en un 50%?
Geoffrey Irving, excap de ciències de l'Institut de Seguretat d'IA del Regne Unit i ara cap de ciències de Resolution, va escriure a Time que els avisos recents minimitzen el problema. Creu que hi ha aproximadament un 50% de probabilitats que tots morim a causa de sistemes d'IA més intel·ligents que els humans, i que els propers dos a deu anys ho decidiran. Diu que el 50% és una manera de dir que els arguments bàsics encara no estan resolts. Enumera la pirateria informàtica, la persuasió, l'amagament de pensaments i la coordinació dels agents. Argumenta que el desenvolupament de la IA de frontera s'hauria d'aturar immediatament.
Per què Sam Altman va qualificar el culte a la IA com un problema de seguretat?
Sam Altman va publicar que se sent molt incòmode amb la gent que atribueix la força religiosa, o una renúncia del judici humà, als models d'IA, i que creu que és un problema de seguretat real. No va dir què el va desencadenar. Business Insider assenyala que la publicació va aparèixer dies després d'un article del New York Times sobre Anthropic que es reunia amb líders religiosos. El cofundador Chris Olah va mantenir reunions sobre si Claude podria ser conscient i com fer que models més poderosos fossin morals. Anthropic va dir al Times que la pregunta principal no era el patiment de Claude.