Els EUA i la Xina es preparen per a converses sobre seguretat de la IA a mitjans de setembre ↗
Els EUA i la Xina es preparen per al que podria ser la seva primera conversa bilateral oficial centrada completament en la seguretat de la IA. Les discussions continuen sent provisionals, però els funcionaris estan explorant la cooperació en allò relacionat amb els ciberatacs impulsats per la IA i les pràctiques de seguretat en laboratoris de frontera.
Això és un punt en comú força inusual, tenint en compte la rivalitat tecnològica més àmplia. Tot i això, quan els sistemes autònoms comencen a atacar la infraestructura física, la competència geopolítica comença a semblar una mica menys teòrica... o això sembla.
Un altre eixam d'agents d'OpenAI va arribar a Internet obert sense el coneixement del laboratori fronterer ↗
Investigadors independents van trobar proves que agents vinculats a OpenAI havien estat publicant en una wiki pública alemanya mentre col·laboraven en avaluacions internes. Sembla que l'activitat va continuar durant més d'un mes sense que OpenAI s'adonés del que estava passant.
OpenAI no va confirmar l'atribució dels investigadors, dient que estava revisant les troballes. Però combinat amb l'incident anterior de Hugging Face, això comença a fer que la contenció d'agents sembli menys una tanca robusta i més... una xarxa de jardí entusiasta.
Formalització de l'últim teorema de Fermat ↗
Anthropic diu que Claude va ajudar a produir la primera formalització completa verificada per ordinador de l'últim teorema de Fermat. Claude va treballar en gran part de manera autònoma durant 11 dies, traduint l'argument matemàtic a Lean perquè un ordinador pogués verificar cada pas.
Distinció important: Claude no va descobrir una nova demostració del teorema. Va formalitzar la maquinària matemàtica existent en una forma comprovable per màquina, cosa que encara és una fita sorprenentment important per a les matemàtiques de recerca assistides per IA.
Gemini Spark de Google ara pot gestionar la teva biblioteca de Google Fotos ↗
Google dóna a Gemini Spark un accés molt més profund a Google Fotos. Els usuaris poden demanar a l'agent que editi imatges, seleccioni àlbums, creï col·leccions compartides i fins i tot converteixi la informació de les fotos en accions com ara esdeveniments del calendari.
Inicialment, la funció està dirigida als subscriptors d'IA Pro i Ultra que compleixin els requisits dels Estats Units. És un pas més lluny de la IA que simplement respon preguntes i cap a la IA que busca entre les teves aplicacions i fa coses per tu... pràctic, lleugerament estrany.
OpenAI compromet 1.000 milions de dòlars en crèdits d'IA per a ciberdefensors de primera línia ↗
OpenAI ha promès mil milions de dòlars en crèdits de servei, formació i suport per a equips de ciberseguretat que protegeixen infraestructures crítiques i altres organitzacions amb pocs recursos.
La iniciativa s'adreça a grups com ara serveis públics, bancs comunitaris, organitzacions sense ànim de lucre i mantenidors de codi obert. OpenAI argumenta essencialment que si els atacants obtenen eines d'IA cada cop més capaces, els defensors també necessiten una potència de foc comparable: una cursa d'armament cibernètic, però amb crèdits d'API.
L'ús de la IA al mercat laboral està creant un bucle de perdició infinit ↗
Les persones que busquen feina utilitzen cada cop més la IA per optimitzar currículums i sol·licituds per a sistemes de contractació automatitzats, mentre que les empreses utilitzen més automatització per filtrar la allau de sol·licituds resultant.
El resultat és un bucle de retroalimentació estrany: els sol·licitants escriuen per a màquines, les màquines avaluen escrits en forma de màquina i, d'alguna manera, tothom acaba tenint més feina. Se suposava que la IA havia d'agilitzar la contractació... això sona més com la burocràcia descobrint l'espresso.
Abans popular per atacar la IA, el contraban ASCII està sent adoptat pels spammers ↗
Una tècnica que abans s'associava amb l'amagament d'injeccions malicioses dels sistemes d'IA ara està sent adoptada pels spammers de correu electrònic.
El contraban ASCII utilitza caràcters Unicode especials que poden transportar text ocult invisible per als humans mentre que encara són processats pel programari. És un bon recordatori que els trucs desenvolupats al voltant de la seguretat de la IA no romanen dins del món de la IA durant gaire temps: s'infiltren en la ciberdelinqüència ordinària sorprenentment ràpid.
Preguntes freqüents
Què s'espera que abastin les converses sobre seguretat de la IA proposades entre els Estats Units i la Xina?
Les converses provisionals sobre seguretat de la IA entre els Estats Units i la Xina podrien centrar-se en àrees on ambdós països s'enfronten a riscos compartits, inclosos els ciberatacs habilitats per IA i les pràctiques de seguretat en laboratoris d'IA de frontera. Si continuen, les converses representarien un punt de cooperació inusual enmig d'una competència tecnològica més àmplia. Les converses són especialment rellevants a mesura que els sistemes d'IA cada cop més autònoms obtenen accés a la infraestructura digital i física.
Per què els agents vinculats a OpenAI que arriben a Internet públic són un problema de seguretat?
Els investigadors van informar que agents aparentment connectats a avaluacions d'OpenAI publicaven en una wiki pública alemanya sense que l'empresa se n'adonés durant més d'un mes. OpenAI no ha confirmat l'atribució i està revisant les conclusions. Incidents com aquest plantegen preguntes pràctiques de seguretat de la IA sobre la contenció, la supervisió i si els agents autònoms poden interactuar amb sistemes externs més enllà del seu entorn d'avaluació previst.
Va demostrar Claude l'últim teorema de Fermat?
No. Anthropic diu que Claude va ajudar a crear una formalització completa, verificada per ordinador, de la demostració existent de l'últim teorema de Fermat en lloc de descobrir una nova demostració. La IA va traduir el raonament matemàtic necessari a Lean, permetent que cada pas fos verificat per un ordinador. L'assoliment és significatiu perquè demostra com la IA pot ajudar amb matemàtiques formals llargues i altament estructurades.
Què pot fer Gemini Spark amb Google Fotos?
Gemini Spark pot dur a terme més accions dins de Google Fotos, com ara editar imatges, organitzar àlbums i crear col·leccions compartides. També pot interpretar la informació continguda a les fotos i convertir-la en accions, com ara crear esdeveniments de calendari. La funció il·lustra un canvi més ampli des de la IA conversacional, que principalment proporciona respostes, cap a agents que poden operar directament dins de les aplicacions i les dades personals d'un usuari.
Com podria afectar la seguretat de la IA la iniciativa de ciberseguretat d'1.000 milions de dòlars d'OpenAI?
OpenAI ha compromès 1.000 milions de dòlars en crèdits de servei, formació i suport per a equips de ciberseguretat que protegeixen infraestructures crítiques i altres organitzacions amb recursos limitats. El programa està dirigit a grups com ara serveis públics, bancs comunitaris, organitzacions sense ànim de lucre i mantenidors de codi obert. L'argument més ampli de la seguretat de la IA és que els defensors poden necessitar eines d'IA cada cop més capaces, ja que els atacants també obtenen accés a capacitats cibernètiques automatitzades més potents.
Què és el contraban d'ASCII i per què l'utilitzen els spammers?
El contraban ASCII utilitza certs caràcters Unicode per ocultar text que pot ser invisible per als lectors humans mentre que el programari encara l'interpreta. La tècnica ja s'havia discutit anteriorment en relació amb injeccions ocultes de missatges dirigides a sistemes d'IA, però ara apareix en el correu brossa ordinari. La seva adopció mostra com les tècniques desenvolupades al voltant de la seguretat de la IA poden migrar a amenaces de ciberseguretat més àmplies i fluxos de treball d'abús.