AutoSynthData de ServiceNow converteix els errors dels agents en or de formació

Resposta curta: AutoSynthData de ServiceNow CoreAI converteix els errors dels agents i els èxits dels professors en tasques SFT sintètiques validades quan les empreses necessiten competència en l'entorn, no només puntuacions de referència generals. Saneja les llacunes en targetes d'especificació de capacitat, multiplica el treball verificable i, a continuació, controla la qualitat abans d'afinar-la. Els impulsos d'EnterpriseOps Gym, segons l'autor, es mantenen si la força del professor, la qualitat del verificador i la fidelitat de l'entorn s'alineen.

Conclusions clau:

Targetes de capacitat: Sanegeu les fallades a les targetes perquè els generadors no vegin mai els identificadors originals.

Auditabilitat del verificador: Prefereix les comprovacions d'estat final de SQL que rebutgen els resultats erronis mutats.

Banda de dificultat: Entrena només tasques que l'objectiu rarament resol i que el professor normalment supera.

Revisió humana: Mantingueu la revisió humana de les polítiques d'alt risc i les accions irreversibles abans de tornar a entrenar.

Frontera mòbil: després de la SFT, reavaluar i desplaçar la fase objectiu cap a les bretxes restants.

Els agents d'IA empresarial rarament fallen perquè no tenen coneixements generals. Fallen perquè l'entorn és específic: polítiques de tiquets, peculiaritats d'esquema, contractes d'eines, bases de dades inicials, articles de coneixement i fluxos de treball entre sistemes que no semblen demostracions de llibres de text. Un model que obté una bona puntuació en proves de referència obertes encara es pot estancar quan el següent pas ha de respectar una finestra de canvi, una relació CMDB o un verificador que comprovi l'estat final en lloc d'un xat fluid.

ServiceNow CoreAI / ServiceNow-AI va publicar AutoSynthData per atacar directament aquesta mancança. L'autor anomenat Esakkivel Esakkiraja descriu un pipeline que converteix els errors d'un agent objectiu, juntament amb els èxits d'un professor més fort, en tasques d'entrenament sintètic validades i adaptades a entorns empresarials. La qüestió no és recopilar més registres de xat. Es tracta de multiplicar el treball dur i verificable que exerceixi la mateixa capacitat en noves condicions, de manera que l'ajustament supervisat pugui tancar forats específics de l'entorn.

Aquest article repassa la idea central, l'abstracció de tasques, el bucle de generació i control de qualitat, l'arquitectura compartida i els resultats reportats pels autors sobre EnterpriseOps Gym en entorns híbrids i ITSM. Es manté fidel al que descriu la investigació: un currículum mòbil de tasques sintètiques, no una afirmació que cap empresa es resolgui sobtadament.

Per què la competència ambiental supera la capacitat àmplia

Les empreses necessiten agents que treballin en el seu entorn: els seus sistemes, regles i estat de les dades. Una capacitat àmplia no és el mateix que competència en l'entorn. Un agent pot saber com funciona normalment la gestió de serveis informàtics i, tot i així, passar per alt la política local que prohibeix certes transicions o l'eina que actualitza una taula relacionada només després que existeixi un registre previ.

Els errors individuals són informatius però escassos com les dades d'entrenament. Una trajectòria trencada mostra una debilitat; no proporciona les dotzenes de situacions properes que ensenyarien al model a recuperar-se sota variació. Els equips necessiten moltes tasques noves que exerceixin la mateixa capacitat de manera diferent, que es puguin completar dins de l'entorn, que siguin realistes quan l'usuari ho demana i que es puguin verificar amb les comprovacions de resultats.

Aquesta és la pressió de disseny que hi ha darrere d'AutoSynthData. Els errors es converteixen en senyals per a les targetes de capacitat. Les targetes es converteixen en generadors de noves tasques. Un professor més fort demostra trajectòries d'èxit. Els filtres i els verificadors decideixen què entra al conjunt d'ajustament fi supervisat. Després de l'entrenament, l'avaluació desplaça la frontera cap a les llacunes restants. El bucle té forma de currículum en lloc d'un abocament de dades únic.

L'enquadrament és important per als professionals. Si només emmagatzemeu les sol·licituds fallides, us arrisqueu a sobreajustar-vos a aquestes entitats i frases exactes. Si només genereu sol·licituds sintètiques sense restriccions, us arrisqueu a tasques impossibles, poc realistes o no verificables. AutoSynthData es troba entre aquests extrems: saneja el que ha fallat en una especificació de capacitat i, a continuació, regenera tasques que mantenen el nucli dur mentre canvien la forma de la superfície i les dimensions controlables.

La forma pràctica de la tasca: sistema, indicador, verificador

Una abstracció viable per al treball agentiu és: tasca és igual a especificació del sistema, indicació d'usuari i verificador. Cada peça porta restriccions que mantenen les dades sintètiques fonamentades i fiables.

L'especificació del sistema cobreix restriccions, polítiques i estat inicial, per exemple, llavors de base de dades i articles de coneixement. Ha de ser compatible amb les eines i l'estat disponibles. Les restriccions de dificultat arbitràries que ignoren els contractes d'eines o el realisme de les llavors tendeixen a crear tasques fràgils que ensenyen la lliçó equivocada.

La qualitat de les indicacions de l'usuari té tres lents. La facibilitat pregunta si existeix una trajectòria vàlida. El realisme pregunta si un usuari ho sol·licitaria plausiblement. La dificultat pregunta si la tasca exposa una debilitat actual de l'agent en lloc d'alguna cosa que l'objectiu ja resol de manera fiable. Una indicació trivial per a l'objectiu malgasta el pressupost de formació; una indicació impossible malgasta la confiança en l'avaluació.

La qualitat del verificador depèn de la coherència, la solidesa i la integritat. Les trajectòries massa laxes i febles passen. Les massa restrictives a una sola trajectòria i les solucions alternatives vàlides fallen. Els entorns empresarials sovint prefereixen comprovacions de resultats basades en SQL o basades en estats perquè qualifiquen el món després que l'agent actuï, no la ruta exacta del testimoni que va prendre l'agent.

AutoSynthData es basa en aquesta tríada perquè el treball generat es mantingui en terra. Els generadors no inventen qüestionaris flotants. Produeixen tasques que es poden executar a l'adaptador d'entorn i jutjar per verificadors que es preocupen per les propietats d'estat final requerides.

De l'avaluació diagnòstica a les targetes d'especificació de capacitats

El procés comença amb una avaluació diagnòstica de l'agent objectiu i d'un professor més fort dins de l'entorn. Les execucions paral·leles revelen on falla l'objectiu i on té èxit el professor. Aquests casos de contrast són la matèria primera per al disseny curricular.

A continuació, es realitza la destil·lació en targetes d'especificació de capacitat sanejades. Una targeta captura la capacitat que s'està provant, les eines rellevants o la forma del flux de treball, on l'objectiu falla i el professor té èxit, les propietats de l'estat final requerides i les dimensions que poden variar quan s'inventen noves tasques. El més important és que el generador no rep les indicacions, entitats, trajectòries o detalls del verificador originals, només les targetes.

Aquesta higienització és una acció deliberada contra el sobreajustament. Si el generador veiés exactament els números de tiquet fallants, els identificadors d'articles de coneixement o les traces dels professors, estaria temptat de parafrasejar el mateix episodi. Les targetes forcen l'abstracció: ensenyar la capacitat sota variació controlable, no la instància memoritzada.

Un cop que les targetes existeixen, el sistema genera noves tasques a partir d'elles. El professor demostra trajectòries d'èxit per a un ajustament supervisat. Aquestes demostracions no són consells lliures; són èxits basats en l'entorn que passen el mateix tipus de verificació que importa al currículum.

Escala d'estructura de dues fases. La fase objectiu se centra en les mostres principals verificades al voltant de les llacunes: les tasques de senyal més alt a prop d'on es trenca l'agent feble. La fase multiplicar crea noves variants d'objectius acceptats. Les mostres multiplicades no poden sembrar més rondes de multiplicació, cosa que limita la deriva. Aquesta regla és petita però important: la variació recursiva il·limitada pot allunyar-se de la capacitat que la carta anomena.

Controlador compartit, adaptador d'entorn i la frontera mòbil

Pel que fa a l'arquitectura, AutoSynthData utilitza un controlador compartit més un adaptador d'entorn. El controlador orquestra el diagnòstic, la identificació, la generació, les demostracions dels professors, les portes de qualitat i la revisió per lots. L'adaptador connecta aquests passos a un espai de proves empresarial concret (eines, estat, polítiques i verificadors), de manera que el mateix bucle de control pot apuntar a diferents dominis sense reescriure la lògica del currículum des de zero.

Després de l'ajustament fi supervisat, el procés es reavalua. El currículum avança llavors cap a les llacunes restants: una frontera mòbil en lloc d'un conjunt de dades estàtic. Els experiments descrits en el treball se centren en l'ajustament fi supervisat. El mateix bucle podria donar suport a l'aprenentatge per reforç més endavant; aquesta direcció s'indica com a planificada, no com a completada.

Per als equips empresarials, la lliçó d'arquitectura és modular. Els controladors no haurien de codificar un esquema d'un sol tiquet. Els adaptadors haurien d'exposar prou fidelitat d'estat i d'eines perquè els verificadors puguin ser significatius. El currículum hauria de tractar els resultats de l'avaluació com la següent entrada, no com un marcador d'un sol ús.

EnterpriseOps Gym és l'entorn on es va il·lustrar aquest enfocament. És un banc d'agents empresarials a gran escala amb unes 1.150 tasques seleccionades per experts en 8 dominis, aproximadament 512 eines, unes 164 taules de bases de dades, execució en contenidors, verificació de resultats basada en SQL, operacions governades per polítiques, escenaris híbrids entre dominis, proves d'infactibilitat i rebuig, i trajectòries amb estat a llarg horitzó. AutoSynthData no es presenta com la invenció d'aquest gimnàs; el gimnàs és el banc de proves d'estrès per al bucle de síntesi.

Control de qualitat a nivell de mostra que manté les tasques sintètiques fiables

La generació sense portes és la manera com les dades d'agents sintètics funcionen malament. AutoSynthData descriu el control de qualitat a nivell de mostra amb diverses comprovacions complementàries.

Un filtre de dificultat del solucionador dirigeix ​​el conjunt cap a tasques que són difícils per a l'objectiu i solucionables per al professor. La configuració descrita afavoreix les tasques que l'objectiu resol en com a màxim un dels tres intents, mentre que el professor té èxit en almenys dos dels tres. Aquesta banda és on les demostracions supervisades poden ensenyar alguna cosa que el model feble ja no posseeix.

La verificació positiva requereix que una trajectòria de referència passi el verificador. La verificació negativa requereix que els resultats erronis mutats fallin. Junts posen a prova tant el costat d'acceptació com el de rebuig del verificador. Si només es comproven els positius, un verificador permissiu pot admetre errors. Si només es comproven els negatius, un verificador massa ajustat pot rebutjar treball vàlid.

Un bucle de crítica i reparació, amb un límit de reintents, intenta arreglar les tasques que fallen les portes en lloc de descartar immediatament cada quasi-error. Els límits de reintents importen: la reparació sense fi pot inventar restriccions cada cop més artificials només per passar una llista de comprovació.

La metarevisió a nivell de lots examina el conjunt per detectar cobertura, diversitat, redundància i objectius deficients. Les portes de mostra mantenen els elements individuals sòlids; la revisió per lots evita que el currículum s'agrupi en un mode de fallada estret o cloni gairebé duplicats.

Aquests controls expliquen per què el procés pot passar hores produint milers de mostres sense tractar el volum com a substitut de l'ajust. La velocitat varia segons el domini i la mida del professor, però la història del control de qualitat és coherent: banda de dificultat, verificació positiva i negativa, reparació amb límits i, a continuació, metarevisió.

Errors en brut vs. targetes vs. conjunts SFT validats

Ajuda a comparar per a què serveix cada artefacte. Els registres d'errors en brut són de diagnòstic. Les targetes de capacitat són contractes generatius. Els conjunts d'ajustos precisos supervisats validats són amb què s'entrena a la pràctica.

En les instantànies híbrides i ITSM a EnterpriseOps Gym, les execucions informades pels autors van utilitzar Gemma-4-26B-A4B-it com a objectiu. Hybrid va emparellar aquest objectiu amb Qwen3.8-27B com a professor i va produir unes 2.000 mostres híbrides en aproximadament 18 hores, amb el millor punt de control a l'època 5. La mitjana de Pass@1 va augmentar en 7,2 punts percentuals, aproximadament un 35% relatiu, amb l'èxit del verificador passant del 63,01% al 68,55%, tancant aproximadament un 59% de la bretxa de Pass@1 respecte al model de referència.

ITSM va emparellar el mateix objectiu amb DeepSeek-V4.1-Flash com a professor i va produir unes 1.994 mostres en aproximadament 66 hores, més temps en part a causa d'un professor més gran i perquè algunes optimitzacions de la cadena de proves encara no estaven implementades. La mitjana de passada a 1 va passar del 18,77% al 27,18%.

Llegiu aquestes xifres com a resultats d'investigació de l'empresa sobre aquest gimnàs per als dominis provats, no com una rèplica independent de tercers, ni com una garantia empresarial universal. Els guanys es produeixen on la força del professor, la qualitat del verificador i la fidelitat de l'entorn s'alineen.

Què haurien de copiar els professionals del bucle

Fins i tot si la vostra pila no és el pipeline de recerca de ServiceNow, el patró es transfereix. Comenceu amb una avaluació aparellada d'un objectiu similar a la producció i un professor més fort en un sandbox fidel. Convertiu els errors de contrast en targetes de capacitat que eliminen identificadors i trajectòries. Genereu tasques que variïn les dimensions permeses mentre preserven les propietats de l'estat final requerides. Feu que el professor demostri els èxits. Ajusteu les bandes de dificultat, la verificació positiva i negativa, la reparació limitada i la revisió de la diversitat per lots. Ajusteu, reavalueu i desplaceu la frontera.

Presteu especial atenció al disseny del verificador. Les comprovacions de resultats SQL a l'estil d'EnterpriseOps Gym i les operacions governades per polítiques il·lustren per què les rúbriques de xat per si soles són febles per al treball amb estat. Si el vostre verificador no pot distingir els resultats incorrectes mutats dels finals correctes, l'escala sintètica amplificarà el soroll.

També cal respectar l'esperit de regles múltiples: les variants d'objectius acceptats no haurien de sembrar més variants sense parar sense tornar a nuclis verificats. La deriva és silenciosa. Un currículum que inventa lentament restriccions més exòtiques encara pot passar filtres superficials mentre deixa la capacitat original poc entrenada.

Finalment, tracteu el treball híbrid entre dominis com un cas d'estrès de primera classe. Els usuaris quotidians no es queden dins d'un sol silo d'eines. Les tasques híbrides, les trajectòries a llarg horitzó i les proves de rebuig o inviabilitat són on la competència de l'entorn es manifesta, o falla estrepitosament.

Advertiments, límits i una lectura acurada dels guanys

Els resultats reportats pels autors a EnterpriseOps Gym són senyals informatius, no una garantia general. Els guanys publicats per a híbrids i ITSM s'apliquen a aquests dominis i emparellaments de models sota la configuració descrita. Altres dominis, professors més febles, verificadors més sorollosos o una fidelitat d'entorn més superficial poden reduir o eliminar el benefici.

La qualitat depèn de tres pilars que cap glossa de màrqueting pot passar per alt. La força del professor estableix el sostre per a les demostracions. La qualitat del verificador estableix la fiabilitat de les etiquetes i els filtres. La fidelitat de l'entorn estableix si els comportaments apresos sobreviuen al contacte amb els sistemes de producció, les regles i l'estat de les dades.

Els experiments d'AutoSynthData emfatitzen l'afinament supervisat. L'aprenentatge per reforç es menciona com un possible ús posterior del mateix bucle, planificat en lloc de lliurat en el treball presentat. Els lectors no haurien de confondre un motor de dades preparat per al currículum amb una afirmació d'entrenament RL acabada.

Els lectors tampoc haurien de confondre la síntesi amb el banc de proves en si. EnterpriseOps Gym proporciona les tasques, eines, taules, contenidorització i estructura de verificació seleccionades. AutoSynthData utilitza aquest tipus d'entorn per convertir els errors en or per a l'entrenament. Atribueix ambdues peces amb precisió: el gimnàs posa èmfasi en els agents; la síntesi multiplica les tasques ensenyables a partir de les mancances diagnosticades.

Tampoc hi ha dinar gratuït en temps de càlcul i calendari dins del sandbox. La síntesi híbrida es va completar en hores per a unes dues mil mostres; l'ITSM va trigar més amb un professor més pesat i una forma de pipeline més primerenca. Els equips haurien de pressupostar la inferència del professor, els intents reiterats de crítica o reparació i la reavaluació després de cada pas del currículum.

Pensament curricular per a equips d'agents empresarials

La idea més profunda d'AutoSynthData és curricular en lloc de purament generativa. Els errors diagnostiquen. Les targetes abstrauen. La generació multiplica. El control de qualitat valida. La SFT actualitza l'objectiu. La reavaluació mou la frontera. Aquesta seqüència tracta la millora de l'agent com una sèrie de lliçons basades en l'entorn en lloc d'un únic abocament de traces fora de línia.

El pensament curricular canvia la manera com els líders assignen els esforços. En lloc de demanar només més tiquets o més anotacions humanes, pregunteu-vos quines capacitats encara fallen sota variació, si aquestes capacitats tenen propietats d'estat final netes i si un professor més fort les pot demostrar de manera fiable. Si el professor no pot tenir èxit prou sovint, la SFT sintètica ensenyarà un comportament poc fiable. Si les propietats de l'estat final són difuses, els verificadors es barallaran amb estratègies vàlides.

També canvia la manera de parlar de l'èxit. Tancar part d'una bretxa de Pass@1 a un model de referència en Hybrid, o elevar ITSM Pass@1 de la trentena a la vintena en execucions informades per l'autor, és un progrés en la competència de l'entorn mesurada. No és una prova que tots els fluxos de treball, totes les polítiques o tots els casos de rebuig estiguin resolts. Mantingueu el llenguatge de la frontera mòbil: les bretxes restants es converteixen en la següent fase Target, no en una diapositiva posterior.

Per al disseny de programes, combineu aquest bucle amb la revisió humana on hi ha molt en joc (polítiques de seguretat, accions irreversibles, dades regulades), mentre deixeu que les portes automatitzades portin un volum en comprovacions d'estat ben especificades. Les dades sintètiques funcionen millor quan l'entorn pot dir que sí o que no amb una claredat similar a la de l'SQL. Tenen dificultats quan l'èxit és un gust subjectiu.

Notes de disseny sobre dificultat, realisme i rebuig

La focalització per dificultat mereix una segona anàlisi. Afavorir les tasques que l'objectiu resol com a màxim un terç de les vegades evita que l'entrenament es basi en trivialitats. Exigir que el professor tingui èxit almenys dos terços de les vegades evita que les demostracions es facin tirar monedes al aire. Aquesta banda és un compromís pràctic entre el repte i la facilitat d'aprenentatge.

El realisme continua sent un criteri més suau, però essencial. Els usuaris empresarials demanen coses que s'adaptin als seus rols i sistemes. Els generadors dirigits només per la duresa poden inventar trencaclosques elaborats amb múltiples restriccions que cap operador demanaria. Les targetes de capacitat que enumeren dimensions variables ajuden, però els humans o la metarevisió encara necessiten captar indicacions surrealistes.

Les proves de rebuig i inviabilitat, presents en el disseny més ampli d'EnterpriseOps Gym, recorden als equips que la competència inclou dir que no. Un pipeline optimitzat només per a tasques completables pot subentrenar el rebuig. Quan amplieu bucles d'estil AutoSynthData, incloeu targetes on la propietat final correcta sigui un rebuig segur sota la política, no només una mutació reeixida de l'estat de la base de dades.

Les trajectòries amb estat a llarg horitzó plantegen una altra nota de disseny. Les demostracions dels professors han de mantenir-se coherents en moltes crides d'eines. Els verificadors que només comproven l'última fila de la taula poden passar per alt els trencaments de política intermedis. La integritat en el disseny dels verificadors significa cobrir les propietats que realment defineixen l'èxit d'aquesta capacitat, incloses les restriccions que han de romandre certes durant tot el procés, no només al final.

Resum final

AutoSynthData, de ServiceNow CoreAI / ServiceNow-AI i escrit a l'article públic d'Esakkivel Esakkiraja, és un pipeline que converteix els errors de l'agent objectiu més els èxits dels professors en tasques d'entrenament sintètiques validades per a entorns empresarials. Abstrau els errors en targetes d'especificació de capacitat sanejades, genera noves tasques sense filtrar indicacions o trajectòries originals, recopila demostracions de professors i aplica el control de qualitat a nivell de mostra i de lot abans de l'ajustament fi supervisat.

El model mental pràctic és una tasca com a especificació del sistema, indicació de l'usuari i verificador, amb la facibilitat, el realisme i la dificultat mantinguts en tensió, i amb verificadors que no són ni massa laxos ni lligats a un sol camí. Les fases de "Destinat i després multiplicat", una regla sense més llavors per a mostres multiplicades, un controlador compartit més un adaptador d'entorn i una reavaluació posterior a SFT creen una frontera mòbil sobre les llacunes restants.

A EnterpriseOps Gym, els resultats híbrids reportats per l'autor amb Gemma-4-26B-A4B-it i Qwen3.8-27B mostren aproximadament dues mil mostres en unes divuit hores i increments significatius de Pass@1 i d'èxit del verificador, tancant una gran part de la bretxa amb un model de referència. ITSM amb DeepSeek-V4.1-Flash com a professor mostra que Pass@1 augmenta del 18,77% al 27,18% en unes 1.994 mostres durant un període més llarg. Tracteu aquestes xifres com a senyals investigats en dominis específics, dependents del professor, el verificador i la fidelitat de l'entorn, i manteniu l'aprenentatge per reforç com una extensió planificada del bucle, no una afirmació acabada.

Si recordeu una frase: els agents empresarials milloren quan els errors es converteixen en lliçons abstraïdes, multiplicades i verificades dins dels sistemes que han d'operar dia a dia, no quan els equips simplement reprodueixen el mateix tiquet trencat.

Exemple pràctic: Expansió de casos ITSM difícils a partir d'un conjunt de fallades d'estil gimnàs congelat

Escenari

Un equip de plataforma empresarial del Regne Unit (penseu en un grup d'operacions de serveis financers de mida mitjana que executa ITSM d'estil ServiceNow amb finestres de canvi, relacions CMDB i transicions controlades per polítiques) té un agent similar a la producció que continua trobant la mateixa classe de treball: actualitzacions creuades que han de respectar un requisit previ d'aprovació, cerques d'articles de coneixement que entren en conflicte amb les congelacions de canvis locals i sol·licituds híbrides que creuen ITSM a eines d'operacions adjacents.

Congelen una suite privada d'estil EnterpriseOps Gym (entorn de proves en contenidors, comprovacions de resultats SQL, taules sembrades, regles de política) de manera que les puntuacions són comparables setmana rere setmana. Les execucions de diagnòstic mostren que l'agent objectiu falla on un professor més fort té èxit. L'equip directiu vol més senyal d'entrenament sense repetir els mateixos números de tiquet i ID d'entitat. AutoSynthData (o un bucle equivalent de sintetització a partir d'errors si el pipeline de recerca està bloquejat a la seva pila) és el candidat: convertir els errors de contrast en targetes d'especificació de capacitat sanejades, generar noves tasques, recopilar demostracions de professors i, a continuació, (críticament), revisar els rastres sintètics per humans abans de qualsevol reentrenament.

Res no s'inclou al Gym Pass@1 per si sol. Les dades de Synth es tracten com a currículum de candidat, no com a veritat gratuïta.

Què necessita l'assistent

• Accés a l'adaptador d'entorn d'estil Gym congelat: eines, estat inicial, polítiques i verificadors SQL (o equivalents basats en estat).
• Registres d'avaluació aparellats: errors en els objectius contrastats amb els èxits del professorat en les mateixes tasques.
• Un esquema de targeta que captura la capacitat, la forma de les eines/flux de treball, el contrast entre errors/èxits, les propietats d'estat final requerides i les dimensions de variació permeses, sense indicacions originals, entitats, trajectòries ni components interns del verificador.
• Regles de neteja de polítiques i PII (ID de tiquets, noms d'usuari, noms de CI, camps regulats) abans que res surti de la zona de proves o entri a un indicador del generador.
• Una cua de revisió humana per a tasques sintètiques mostrejades i traces de professors (factibilitat, realisme, solidesa del verificador, casos de rebuig/infactibilitat).
• Condicions d'aturada clares: Destinació i després multiplicació de les fases; les mostres multiplicades no donen lloc a més rondes de multiplicació.

Exemple d'instrucció

Contacte de plataforma amb l'operador del currículum (o amb un assistent d'orquestració que només esborra targetes i paquets de revisió; no reentrena ni promociona models):

"Executeu el diagnòstic Pass@1 a les porcions ITSM i híbrides congelades contra el nostre objectiu actual i el professor designat. Per a cada contrast on l'objectiu falli i el professor tingui èxit almenys dues de les tres proves, elaboreu una targeta d'especificació de capacitat sanejada: anomeneu la capacitat, enumereu les eines rellevants, indiqueu les propietats de l'estat final requerides i enumereu les dimensions controlables (banda de prioritat, classe de CI relacionada, indicador de finestra de canvi, tipus de conflicte de coneixement). Elimineu els números de tiquet, els identificadors d'usuari, els noms de CI i les trajectòries en brut. Genereu un lot de fase objectiu de noves tasques només a partir d'aquestes targetes. Feu que el professor demostri els èxits. Apliqueu la banda de dificultat (objectiu ≤1/3, professor ≥2/3), la verificació positiva i negativa i la crítica/reparació limitada. Produïu un paquet de revisió de mostres estratificades al 5% més cada targeta de rebuig/infactibilitat. No inicieu SFT fins que dos revisors no aprovin el paquet i les comprovacions de PII s'aprovin. Després de SFT en un punt de control candidat, torneu a avaluar el conjunt congelat i un conjunt de coincidències exactes que no hem utilitzat mai per a la generació. Informeu de la cobertura per classe de fallada i taxa de regressió en comparació amb la producció anterior." punt de control. No promocionar per si sol en funció de la puntuació del gimnàs

Com provar-ho

1. Bloqueig de línia de base: Registra les taxes d'èxit de Pass@1 i del verificador al conjunt congelat per classe d'error (ordre de requisits previs, rebuig de la finestra de canvi, híbrid entre eines, conflicte de coneixement). Mantén el conjunt i les llavors immutables durant el cicle.
2. Auditoria de targetes: comproveu aleatòriament que els generadors no rebin mai indicacions originals, entitats o rastres de professors, sinó només targetes.
3. Mostra de control de qualitat: Confirmar que les trajectòries positives passen els verificadors i que els resultats erronis mutats fallen. Rebutjar tasques que siguin trivials per a l'objectiu o llançar una moneda al vol per al professor.
4. Revisió humana: els revisors marquen cada mostra com a "mantenir/reparar/eliminar" segons la viabilitat, el realisme i la seguretat de les polítiques. Feu un seguiment de l'acord entre revisors sobre un subconjunt compartit.
5. Coincidència exacta de les tasques reservades: Després de la SFT candidata, puntueu una quantitat reservada de tasques reals (o prèviament congelades) que mai no s'han introduït a la cartografia o a la generació. Puntueu per separat les quasi-parafrasis de les tasques d'entrenament per detectar una memorització superficial.
6. Porta de regressió: qualsevol classe de fallada que empitjori respecte al punt de control de producció anterior bloqueja la promoció fins que s'expliqui o es corregeixi.

Resultat

No inventeu percentatges de cocció aquí. Feu servir un pla de mesurament i etiqueteu les xifres de recerca publicades com a RECLAMACIÓ DE L'ARTICLE quan les citeu.

Pla de mesurament (què ha d'informar aquest equip):

• Cobertura de classes de fallada: proporció de classes de bretxa diagnosticades que van produir ≥N tasques de fase objectiu acceptades després del control de qualitat (definir N per avançat, p. ex. 20 tasques acceptades per classe).
• Coincidència exacta de la retenció: Pass@1 / èxit del verificador a la retenció no tocada abans vs després de la SFT candidata (mateixes llavors, mateix verificador).
• Taxa de regressió: recompte de classes de fallada on Pass@1 cau en comparació amb el punt de control de producció anterior; bloqueja si alguna classe crítica per a la seguretat regressa.
• Rendiment de les revisions: mantenir / reparar / taxes de solta al paquet de revisió humana; si la taxa de solta augmenta, pausar Multiplicar i corregir cartes o verificadors.
• Errors de neteja: nombre de mostres que no superen les comprovacions de PII/polítiques abans de l'aprovació de la revisió (objectiu: zero escapades al conjunt SFT).

RECLAMACIÓ DE L'ARTICLE (informat per l'autor a EnterpriseOps Gym - no és el resultat mesurat d'aquest equip): Les execucions híbrides amb Gemma-4-26B-A4B-it com a objectiu i Qwen3.8-27B com a professor van produir unes 2.000 mostres en aproximadament 18 hores, amb un augment mitjà de l'Aprovat a 1 d'uns 7,2 punts percentuals i un èxit del verificador que va passar del 63,01% al 68,55%. L'ITSM amb DeepSeek-V4.1-Flash com a professor va augmentar l'Aprovat a 1 mitjà del 18,77% al 27,18% en unes 1.994 mostres durant una execució més llarga (~66 hores). Tracteu-les com a senyals investigats en dominis i emparellaments específics, no com a garantia universal per a una pila de producció al Regne Unit.

Forma il·lustrativa del programa (suposicions, no guanys mesurats): si l'equip accepta unes 2.000 mostres amb control de qualitat per a un cicle ITSM, pressuposta la inferència del professor més la revisió al 5% de mostreig estratificat i només promociona quan la suspensió no fa una regressió a les classes crítiques per a la seguretat, el "resultat" que poden afirmar amb tota seguretat és la maduresa del procés (currículum auditat, traces esborrades i deltes de suite congelades comparables), no un augment percentual promès.

Què pot anar malament

• Tractant el sintetitzador com a veritat lliure: ometre la revisió humana o la verificació negativa permet que els verificadors permissius admetin brossa a gran escala.
• Fuita d'entitats: introduir els identificadors de tiquets originals o les traces dels professors al generador convida al sobreajustament de paràfrasis; existeixen targetes per evitar-ho.
• Multiplicació il·limitada: Permetre que les mostres multiplicades sembren més rondes s'allunya de la capacitat anomenada.
• Enviament de puntuacions de gimnàs: promoció perquè el Pass@1 de la suite congelada va augmentar mentre que el trànsit a l'ombra de la producció o de suspensió va empitjorar.
• Sostre feble del professor: si el professor no pot superar la banda d'èxit ≥2/3, SFT ensenya demostracions poc fiables.
• Verificadors difusos: les rúbriques de xat en lloc de les comprovacions basades en l'estat qualifiquen els exàmens finals incorrectes amb fluïdesa com a èxits.
• Rebuig per falta d'entrenament: l'optimització només per a mutacions completables deixa la finestra de canvi i les declinacions de polítiques fràgils.
• Escapada d'informació identificable: indicacions sintètiques que reintrodueixen noms d'usuari o de configuració de cites reals després d'una neteja superficial.

Conclusió pràctica

Utilitzeu bucles d'estil AutoSynthData (o un patró equivalent de sintetització a partir de fallades si el pipeline de ServiceNow CoreAI no està disponible a la vostra tinença) per multiplicar casos d'ITSM concrets i verificables a partir de buits diagnosticats. Sanegeu-los en targetes de capacitat, introduïu la porta amb dificultat i verificació positiva/negativa, elimineu les mostres d'informació identificable i de revisió humana abans de l'SFT. Mesureu la cobertura de la classe de fallada, la coincidència exacta i la taxa de regressió. Citeu les xifres de gimnàs de l'ARTICLE RECLAMACIÓ només com a context de recerca extern. Les dades de sintetització són combustible per al currículum, no una garantia: auditeu mostres, manteniu el conjunt congelat per a una comparació justa i no envieu mai la puntuació de gimnàs per si sola.

Preguntes freqüents

Què és AutoSynthData i quin problema aborda?

AutoSynthData és un pipeline de ServiceNow CoreAI / ServiceNow-AI, descrit per Esakkivel Esakkiraja, que combina els errors d'un agent objectiu juntament amb els èxits d'un professor més fort en tasques d'entrenament sintètic validades per a entorns empresarials. Se centra en la competència de l'entorn (polítiques locals, esquemes, eines i estat) en lloc del coneixement general ampli. L'objectiu és multiplicar el treball dur i verificable perquè l'ajustament supervisat pugui solucionar buits específics de l'entorn en lloc de reproduir el mateix tiquet trencat.

Per què la competència ambiental és diferent de la capacitat del model ampli?

Els agents empresarials sovint ensopeguen perquè l'entorn en si és particular: polítiques de tiquets, peculiaritats d'esquemes, contractes d'eines, bases de dades inicials i fluxos de treball entre sistemes. Un model que sembla fort en punts de referència oberts encara es pot bloquejar en una finestra de canvi, una relació CMDB o un verificador que inspecciona l'estat final. Una capacitat àmplia no és el mateix que saber com es comporten els vostres sistemes, regles i estat de dades sota transicions governades per polítiques.

Quina és la forma pràctica de tasca que utilitza AutoSynthData?

Una forma viable és una tasca igual a l'especificació del sistema, la sol·licitud d'usuari i el verificador. L'especificació del sistema conté restriccions, polítiques i estat inicial, com ara llavors de base de dades i articles de coneixement. Les sol·licituds d'usuari es puntuen per via de viabilitat, realisme i dificultat. Idealment, els verificadors es basen en comprovacions de resultats basades en SQL o en estats, de manera que qualifiquen el món després que l'agent actuï, no només la ruta exacta del testimoni que ha seguit.

Com eviten el sobreajustament les targetes d'especificació de capacitat sanejades?

Les execucions de diagnòstic contrasten on l'objectiu falla i el professor té èxit, i després destil·len aquests casos en targetes d'especificació de capacitat sanejades. Una targeta registra la forma de la capacitat, les eines o el flux de treball, el contrast entre errors i èxits, les propietats de l'estat final requerides i les dimensions que poden variar. El generador mai veu les indicacions, entitats, trajectòries o detalls del verificador originals, només les targetes, de manera que les tasques noves pressionen sobre el nucli dur sense parafrasejar un episodi memoritzat.

Quines són les fases Target i Multiply del pipeline?

La fase objectiu es concentra en mostres principals verificades al voltant de les llacunes: les tasques de senyal més alt a prop d'on es trenca l'agent feble. La fase multiplicació genera noves variants d'objectius acceptats. Les mostres multiplicades no poden sembrar més rondes de multiplicació, cosa que manté sota control la deriva allunyada de la capacitat anomenada. Després d'un ajust fi supervisat, la reavaluació desplaça el currículum cap a les llacunes restants com una frontera mòbil en lloc d'un abocador estàtic.

Com s'aconsegueix que el control de qualitat a nivell de mostra mantingui la fiabilitat de les tasques sintètiques?

Un filtre de dificultat del solucionador afavoreix les tasques que l'objectiu resol en un màxim de tres intents, mentre que el professor té èxit en almenys dos dels tres. La verificació positiva necessita una trajectòria de referència per passar; la verificació negativa necessita resultats erronis mutats per fallar. Un bucle de crítica i reparació amb un límit de reintents intenta reparar els errors quasi accidentals, i la metarevisió a nivell de lot comprova la cobertura, la diversitat, la redundància i els objectius fallants a tot el conjunt.

Quina arquitectura utilitza AutoSynthData en dominis empresarials?

Emparella un controlador compartit amb un adaptador d'entorn. El controlador executa el diagnòstic, la identificació de targetes, la generació, les demostracions del professorat, les portes de qualitat i la revisió per lots. L'adaptador connecta aquests passos a un espai de proves concret (eines, estat, polítiques i verificadors) de manera que el mateix bucle de control pot apuntar a diferents dominis sense reescriure la lògica curricular des de zero.

Què és EnterpriseOps Gym en aquest context de recerca?

EnterpriseOps Gym és el banc d'agents empresarials a gran escala que s'utilitza com a banc de proves d'estrès, amb unes 1.150 tasques seleccionades per experts en 8 dominis, aproximadament 512 eines, unes 164 taules de bases de dades, execució en contenidors, verificació de resultats basada en SQL, operacions governades per polítiques, escenaris híbrids i trajectòries amb estat a llarg horitzó. No es presenta AutoSynthData com la invenció d'aquest gimnàs; el gimnàs mostra el bucle de síntesi en acció.

Quins resultats informats per l'autor apareixen per a configuracions híbrides i ITSM?

A EnterpriseOps Gym, les execucions híbrides amb Gemma-4-26B-A4B-it com a objectiu i Qwen3.8-27B com a professor van produir unes 2.000 mostres en aproximadament 18 hores, amb un Pass@1 mitjà que va augmentar uns 7,2 punts percentuals i un èxit del verificador que va passar del 63,01% al 68,55%. L'ITSM amb DeepSeek-V4.1-Flash com a professor va augmentar el Pass@1 mitjà del 18,77% al 27,18% en unes 1.994 mostres durant una execució més llarga. Tracteu-les com a senyals investigats en emparellaments específics, no com a garantia de producció universal.

Quins errors haurien d'evitar els equips quan utilitzen bucles synth-from-failures?

No tracteu les dades sintètiques com a veritat lliure ni ometeu la revisió humana i la verificació negativa. Eviteu introduir els ID de tiquets originals o els rastres dels professors al generador, deixar que les mostres multiplicades sembren més rondes o promocionar Gym Pass@1 per si sol mentre el trànsit de retenció o a l'ombra empitjora. També observeu els professors febles per sota de la banda d'èxit, les rúbriques de xat difuses en lloc de comprovacions d'estat, els casos de rebuig de la formació insuficient i l'escapament de PII després d'una neteja superficial.

Referències

1. Cara d'abraçada — AutoSynthData — huggingface.co
2. Gimnàs EnterpriseOps — enterpriseops-gym.github.io
3. arXiv — arxiv.org
4. GitHub — EnterpriseOps-Gym — github.com