Què és un centre de dades d'IA? [Vídeo i qüestionari]

Resposta curta: un centre de dades d'IA és un d'alta densitat on l'energia, la refrigeració, el teixit i l'emmagatzematge es centren en models d'entrenament i servei, no en una sala de servidors amb GPU addicionals. Els xips s'emporten la fama; l' edifici decideix si funcionen. Si les imatges no poden marxar, cal modernitzar una cel·la petita; la majoria dels equips haurien de llogar-la.

Conclusions clau:

Xips vs. construcció: la potència, la refrigeració, el teixit i l'emmagatzematge decideixen si els acceleradors funcionen.

Llocs, no palaus: modernitzeu dos racks quan les dades no puguin sortir; no compreu un campus.

Mitjana vs mediana: En vuit execucions, la mediana hid es reinicia; utilitzeu la mitjana de 18 hores.

Resistència a l'ús indegut: No citeu un PUE per a dos prestatges en una sala mixta.

Resultats il·lustratius: Vuit execucions són un mapa petit, no un estalvi de producció del 50%.

Articles que potser t'agradaria llegir després d'aquest:

🔗 És fiable la IA? Vídeo i qüestionari
Explora la fiabilitat de la IA a través d'un vídeo atractiu i un qüestionari interactiu.

🔗 Com utilitzar la IA a la vida diària
Descobreix maneres pràctiques en què la IA pot simplificar les tasques i rutines quotidianes.

🔗 Com utilitzar la IA a la feina
Aprèn maneres pràctiques d'utilitzar la IA per a una productivitat més intel·ligent a l'hora de treballar.

🔗 Pot la IA pensar per si mateixa?
Entén si la intel·ligència artificial pot pensar realment de manera independent o raonar.

En què es diferencia d'un centre de dades "normal"

Les sales tradicionals optimitzen les càrregues de treball i el temps de funcionament mixtes en molts serveis petits. T'importa la redundància, és clar, i el PUE com a concepte: l'energia addicional que l'edifici crema per oferir un watt de computació. Normalment, no dissenyes cada passadís al voltant d'un rack que es comporta com un parc de calefactors portàtils.

Els llocs web d'IA canvien les proporcions. La densitat augmenta. La xarxa es converteix en un teixit sense el qual la tasca d'entrenament no pot coixejar. L'emmagatzematge ha de mantenir els punts de control en moviment o els acceleradors romanen inactius, com cavalls de curses en un embús.

També hi ha una diferència cultural. Les operacions empresarials pensen en tiquets i finestres de canvi. Les operacions d'IA pensen en cues de treball i en la sensació de malestar quan un node mor tard a la llarga. Suposo que encara es podrien anomenar tots dos "centres de dades" perquè ho són. L'etiqueta només amaga la fontaneria.

No és una classificació moral. Màquines diferents, mateix cognom.

GPU, acceleradors i el rack que consumeix energia

Camina per un terra elevat tradicional i els prestatges semblen gairebé educats. Camina per una fila d'IA i sembla que vulguin empassar-se l'edifici.

El maquinari més destacat no és una CPU intel·ligent. És la safata de l'accelerador: GPU o altres xips d'IA, empaquetats en servidors, després en bastidors i, finalment, en files que comparteixen un teixit d'ample de banda elevat. Les interconnexions de GPU uneixen els xips en alguna cosa que pot fingir ser un accelerador gegant; el teixit del clúster fa el mateix truc a escala de fila. L'entrenament paral·lel només funciona si aquests enllaços es mantenen gruixuts i predictibles. Si perds això, el teu "clúster" serà una pila d'estacions de treball cares que comparteixen un codi postal.

La potència segueix els xips. No una PDU d'oficina voluminosa. Megawatts de càrrega informàtica un cop s'omple una sala... no inventaré cap xifra. La densitat per rack és el gir argumental. Menys racks. Cadascun un petit forn. El factor limitant sovint és la subestació, no la llista de desitjos de GPUs. Ja sabeu com és: l'empresa de contractació vol més acceleradors; la companyia elèctrica vol una conversa llarga i un xec molt gran.

Una metàfora una mica esbojarrada que no puc treure'm de sobre: ​​el potro és un animal famolenc. Pots criar-ne un de més ràpid. Encara l'has d'alimentar i encara has d'eliminar la calor. Si no en tens cap de les dues, es converteix en un pisapapers molt costós.

Energia, calor i el problema de la refrigeració

Electricitat a dins. Calor a fora. Aquesta és tota la religió.

Els bastidors d'alta densitat aboquen calor d'una manera que mai s'ha demanat que l'aire gestioni. Podeu pressionar l'aire més fort (intercanviadors de calor a la porta posterior, passadissos més calents, contenció intel·ligent) i això funciona fins a cert punt. Aleshores apareix líquid:

• Refrigeració directa al xip

• Circuits de refrigeració que fan que la sala de màquines sembli una fàbrica química

• Immersió en uns quants dissenys, que encara sorprèn a les persones que pensen que l'aigua i els cambrers no haurien de compartir una frase

Res d'això és glamurós. Tot és el producte, perquè un accelerador que limita l'acceleració és un que ja has pagat i no pots utilitzar completament.

El PUE encara importa. És una proporció, no una personalitat. Els operadors el persegueixen perquè cada watt gastat en ventiladors i bombes és un watt que no ha anat a una GPU. No citaré una xifra "típica"; el clima i com dibuixes el límit el mouen, i la precisió falsa és pitjor que cap. L'aigua també forma part de la història. Algunes plantes beuen a glops. Algunes empassen. El refredament evaporatiu és eficient fins que el riu o una sequera el converteixen en polític.

Networking: per què el teixit importa tant com les fitxes

La gent fotografia les GPU. Haurien de fotografiar els interruptors.

L'entrenament és una conversa. Milers d'acceleradors intercanviant gradients, paràmetres, fragments d'un model, en estreta sincronització. Si la fabric tremola, tota la feina espera al salt més lent. És per això que les sales d'IA s'obsessionen amb les xarxes d'ample de banda elevat, la baixa latència i les topologies que no es pleguen per la meitat quan falla un enllaç. Fabrics d'estil InfiniBand, Ethernet en el mateix paper, interconnexions de GPU dins la caixa, cablejat que ha de ser correcte a la primera.

La inferència és una conversa diferent. El servei de models es preocupa per la latència de la cua: la resposta lenta, no la mitjana. El servei per lots vs. el temps real divideix la personalitat. Un clúster d'entrenament vol un moviment dens, col·lectiu i de tot a tot. Una flota de servei vol moltes sol·licituds més petites i aïllament, sense un embús de trànsit a l'equilibrador de càrrega.

La manca, mentre sóc aquí: la gent tracta la xarxa com a fontaneria i les patates fregides com el restaurant. En aquest edifici, la fontaneria és el restaurant. Si et perds això, compres una cuina que no pot acceptar repartiments.

Entrenament vs inferència: dos edificis, de vegades literalment

L'entrenament és una campanya. Reuneixes un clúster, l'alimentes amb dades, fas un control religiós, l'executes durant hores o setmanes i reses perquè la infraestructura es mantingui sense incidents. Depèn de lots, necessita molta amplada de banda i és pacient en silenci, fins que un node fallit interromp l'execució. Un accelerador mort en una tasca estretament acoblada pot aturar tot el cor.

La inferència és un aparador. Models ja entrenats, ara responen preguntes, classifiquen imatges, generen text. La latència importa. Un accelerador una mica més antic a prop del client pot superar-ne un de glamurós a un continent de distància.

Així doncs, tens una divisió. Els campus de formació persegueixen el poder, el terreny i la densitat. Els llocs d'inferència persegueixen la latència i la presència. També existeixen pavellons híbrids, perquè el capital no és infinit. Bé, no sempre dos edificis. De vegades, un pavelló amb una corda de vellut i dos bucles de refrigeració.

Aquí també és on es produeix la colocation, els campus hiperescaladors i la bifurcació on-prem. Els hiperescaladors es construeixen a escales que fan que la resta de nosaltres sembli que estiguem organitzant mobles. Els Colos venen densitat per rack. L'on-prem encara es produeix quan les dades no poden sortir.

Rendiment d'emmagatzematge, punts de control i patates fregides amb molt de gust

Ningú posa el sistema de fitxers paral·lel a la portada del fullet.

Les dades d'entrenament han d'arribar prou ràpid perquè les GPU no estiguin fent el pit-joc. Els punts de control han d'aconseguir-se perquè una fallada no faci perdre una setmana. Els pesos del model s'han de carregar abans que una rèplica en funcionament estigui en funcionament. El rendiment d'emmagatzematge, no només la capacitat, és el coll d'ampolla silenciós. Podeu gastar una fortuna en acceleradors i privar-los de menjar amb una matriu polida dissenyada per a màquines virtuals.

El patró és familiar: un clúster brillant, una cua de treballs i una espera d'E/S que mira fixament com una factura grollera. Agrupar el càlcul sense agrupar la ruta de dades és la manera d'aconseguir un període d'inactivitat molt car. Mantingueu els xips alimentats o admeteu que heu comprat una escultura.

Programari, orquestració i la capa d'operacions poc glamurosa

El maquinari és la celebritat. Els programadors fan la feina.

Un centre de dades d'IA és inútil si les tasques no poden trobar GPUs, si dos equips no poden compartir un clúster sense una baralla a cops de puny, si un rang fallit no es pot substituir, si el firmware va a la deriva fins que el fabric falla a càmera lenta. Orquestració, observabilitat, limitació de potència: la capa d'operacions sense glamour, que és com saps que importa.

Tinc debilitat per aquesta capa. A més, quan una targeta de xarxa mal configurada fa veure que és un problema de refrigeració durant tota una tarda... això es descobreix a la manera difícil.

Quan un node mor a mitja execució

Un node mor. Les finestres de canvi encara xoquen amb execucions d'entrenament que no es preocupen pel vostre calendari. Planifiqueu treballs grans en grup, tanqueu grups d'inferències, escriviu llibres d'execució per a errors que semblen "la feina és lenta" fins que semblen "la feina està morta". La redundància encara importa (energia, refrigeració, camins, emmagatzematge), però el mode d'error és menys ordenat que la vella diapositiva dels nou de temps de funcionament. Inferència: rèplica, drenar el node malalt, continuar responent. L'entrenament vol punts de control, no optimisme.

Ubicació, aigua, xarxa i veïns

No en deixes caure un d'aquests al costat d'una caseta per les vistes.

La connexió a la xarxa sovint és el veritable procés de selecció del lloc. El terreny és fàcil en comparació amb una subestació i una empresa de serveis públics que té altres clients. L'aigua per a la refrigeració, si es fa servir, es converteix en un problema veí tan bon punt la pluja és desagradable. Soroll. Massa visual. Calor en una tanca perimetral. Els comitès de planificació descobreixen opinions sobre "el núvol" en el moment en què necessita un camp i un riu.

La latència estira cap a l'altra banda. A la inferència li agrada estar a prop dels usuaris i les interconnexions. La formació es pot amagar en mercats d'energia més barats i climes més freds. La indústria parla com si hi hagués un lloc perfecte. No n'hi ha. Hi ha un compromís amb un comunicat de premsa.

Calor sobrant i el forn no convidat

Els fullets encanten aquesta part. Canalitzar la calor residual a les cases, piscines, hivernacles; és una frase preciosa. De vegades, el circuit del districte és genuí. De vegades, el campus és al lloc equivocat i la calor encara va a l'aire. Sóc escèptic de la versió del fullet; no sóc escèptic de la física.

Qui en necessita un (i qui hauria de llogar-lo en comptes d'això)

La majoria de la gent no necessita tenir una d'aquestes sales.

La llista contundent:

• Hiperescaladors, perquè el producte és la flota

• Laboratoris, quan el temps de cua és el coll d'ampolla o les dades no poden sortir

• Un banc, un grup hospitalari, un govern o un fabricant amb un conjunt de dades secret (local o en una gàbia privada) pot ser racional, fins i tot si és una complicació

Tothom hauria de llogar. Coubicació amb densitat preparada per a IA. Una reserva al núvol. Un clúster gestionat. Obteniu els acceleradors sense convertir-vos també en operador de central elèctrica. El romanç s'esvaeix la primera vegada que algú pregunta qui està de guàrdia per al bucle de refrigerant a les 3 del matí.

Hi ha una qüestió d'orgull, ho admeto. Posseir el clúster és com posseir els mitjans de predicció. Aleshores arriba la factura de la llum i l'orgull s'asseu.

Per a què serveix l'edifici

Aleshores, què és un centre de dades d'IA? Un campus especialitzat i d'alta densitat on els acceleradors, l'energia, la refrigeració, el teixit i l'emmagatzematge s'organitzen al voltant de models d'entrenament i servei, no de TI d'ús general amb una GPU a la cantonada. Sembla un magatzem. Es comporta com una central elèctrica que fa matemàtiques.

Si no recordeu res més: els xips s'emporten la fama; la subestació, el refrigerant i la xarxa decideixen si aquests xips van ser una bona idea. La formació i la inferència poden compartir sostre; encara volen maneres diferents. La majoria d'organitzacions haurien de llogar. Algunes haurien de construir. Els veïns ho notaran de qualsevol manera.

El núvol sempre ha tingut un edifici. Avui dia l'edifici té opinions.

Exemple del món real: una cel·la d'entrenament de dos bastidors quan les imatges no poden sortir

Escenari

Tomos és el cap d'infraestructura de Kestrel Precision, un fabricant amb 400 persones a West Midlands. Ja tenen una petita nau local: ERP, recursos compartits d'arxius, màquines virtuals, el barri mixt amb què va començar aquest article. Refrigeració per aire. Ethernet normal. Una SAN perfectament adequada per als discos d'oficina.

L'equip de visió artificial necessita entrenar un model d'inspecció en imatges fixes de fàbrica. Les imatges fixes no poden sortir de les instal·lacions. Mostren un procés que l'empresa no posarà en un disc al núvol, ni tan sols en un de privat. La solució de Compres són quatre servidors de doble accelerador i una diapositiva titulada "el nostre centre de dades d'IA". Els servidors van a dos bastidors existents, perquè hi ha espai, i l'espai es va sentir com la restricció.

No ho és. En dues setmanes, les GPU semblen estar ocupades i després s'esgoten silenciosament. Les feines s'arrosseguen quan un punt de control arriba a la SAN. Un node mor a l'hora onze i l'execució simplement... s'ha acabat. En Tomos no ha deixat de comprar xips. Ha comprat un munt d'estacions de treball cares que comparteixen un codi postal. L'edifici encara era un pavelló empresarial.

No necessiten un campus, una nova subestació ni un riu. Necessiten una petita cel·la que es comporti com un centre de dades d'IA en miniatura: energia que els bastidors poden contenir, calor que surt sense coure els xips, un teixit sobre el qual es pugui transmetre la tasca d'entrenament, emmagatzematge que pugui suportar un punt de control i un llibre d'execució per quan un node mor. Com que les imatges no poden marxar, llogar una gàbia de col·locació a quaranta minuts de distància no és la solució. La modernització de dos bastidors sí que ho és.

El que necessita la cèl·lula

• Un pressupost d'energia mesurat en aquesta fila, a partir de les PDU, no de la llista de desitjos de GPU. Si la capacitat de reserva no pot alimentar els quatre servidors amb càrrega d'entrenament, la conversa s'atura aquí i busquen un color més dens, no un miracle

• Mai es va demanar que es gestionessin els refredaments de l'aire amb aquesta densitat: intercanviadors de calor de la porta posterior si la sala els pot suportar, o un petit bucle de líquid si ho pot suportar. Si no n'hi ha cap, els servidors no hi entren

• Un teixit dedicat d'ample de banda elevat entre els quatre nodes, no l'Ethernet de l'oficina. Si el proveïdor només té un commutador de 10 Gb al catàleg, això no és un clúster

• Emmagatzematge ràpid local per a punts de control i fragments d'entrenament, no la SAN de màquina virtual

• Un planificador, un interval de punt de control i una ruta de reinici escrita. El maquinari és la celebritat. Aquesta capa és la feina

• Una caixa d'inferència tancada per a la línia de fàbrica, separada del xat d'entrenament, perquè el servei vol latència i aïllament de la cua, no un col·lectiu

• Permís per registrar l'energia, els rellotges de la GPU, els esdeveniments de limitació d'acceleració i el rellotge de paret de la tasca. Si no poden inspeccionar-los, fotografiaran les GPU i fallaran els interruptors

Exemple d'instrucció

Tomos ho explica en el seu informe d'instal·lacions, en llenguatge corrent:

No anomeneu això un campus d'IA. Construïu una cel·la d'entrenament de dos bastidors a la sala existent per a quatre servidors de doble accelerador. Les imatges de fàbrica es queden al lloc. L'èxit és: els quatre nodes completen una recepta d'entrenament-inspecció de 12 èpoques sense limitació tèrmica, escriuen un punt de control en minuts i no en desenes de minuts, i reprenen des d'aquest punt de control quan eliminem un rang a propòsit. La refrigeració ha de mantenir les GPU en els seus rellotges d'entrenament. La xarxa ha de ser un teixit que comparteixen aquestes quatre caixes, no un camí a través de la pila d'oficina. L'emmagatzematge ha d'alimentar els xips. Si els intercanviadors de calor de la porta posterior no encaixen, digueu-ho i atureu-vos. No citeu un PUE per a dos bastidors en una sala mixta. Aquest nombre seria teatre.

Aleshores, ho posa a la feina de formació:

Punt de control cada 30 minuts fins a la piscina ràpida local. Si un rang mor, reinicia des de l'últim punt de control complet. No esperis a la SAN. No continuïs entrenant mentre els rellotges hagin baixat de calor. Registra-ho i atura't perquè puguem veure la parada.

Una bona hora té aquest aspecte: les vuit GPU en funcionament, el fitxer de punt de control arriba i la feina continua en sincronia. Una mala hora té aquest aspecte: els ventiladors a ple rendiment, els rellotges no funcionen, el punt de control 2% s'escriu al cap de deu minuts i algú a l'oficina diu "el clúster està en funcionament". Estar en funcionament no és entrenament.

Com provar-ho

Escriuen la prova abans de la modernització, que és la raó de no confiar en una demostració.

• La mateixa recepta de 12 èpoques, les mateixes 120.000 inspeccions, vuit tirades

• El temps és un rellotge de paret per a una recepta acabada, incloent-hi qualsevol reinici, mesurat des de l'enviament de la tasca fins a l'últim punt de control de l'època 12

• Una passada de calor: els rellotges de la GPU es mantenen a l'objectiu d'entrenament durant l'execució. Un esdeveniment d'acceleració és un error fins i tot si la tasca finalment finalitza

• Un emmagatzematge de passada: temps d'escriptura del punt de control, mediana i pitjor, del registre de treballs

• Una passada sobre el teixit: la feina no queda en espera col·lectiva mentre una fila està en bon estat. Si no poden veure aquesta espera, la instrumentació no està feta

• Dues de les vuit curses acaben amb un rang en un pas fix, a propòsit, per provar el camí de reinici

• La inferència és una prova independent de 200 imatges des de la línia de fàbrica fins a la caixa de servei tancada. L'èxit de l'entrenament no compta com a èxit de servei

• Registren l'alimentació del rack de les PDU en mostres de 15 minuts perquè ningú hagi d'inventar un megawatt

Acceptació per anomenar la cel·la "ready per a la IA": 8 de 8 receptes acaben; 0 de 8 mostren un bloqueig tèrmic; ambdues execucions aturades es reprenen; els punts de control es mantenen en minuts. Si no ho fan, encara tenen una sala de servidors amb targetes gràfiques sofisticades.

Resultat

Resultat il·lustratiu, d'una prova inventada de vuit execucions, no una figura de Kestrel publicada.

Supòsits: quatre servidors de doble accelerador en dos bastidors; un model d'inspecció; 120.000 imatges fixes; vuit execucions d'una recepta fixa de 12 èpoques; el rellotge de paret inclou reinicis fins que la recepta finalitza; l'acceleració significa una baixada registrada del rellotge d'entrenament; el temps del punt de control és l'escriptura, no el desig; l'alimentació del bastidor són mostres de PDU, no un PUE del campus.

Abans de la modernització, les GPU en racks ordinaris refrigerats per aire a l'Ethernet de l'oficina i la SAN de màquines virtuals:

• 5 de 8 carreres acabades al primer intent. Rellotge de paret mitjà entre aquestes cinc: 14 hores

• 3 de 8 van haver de tornar a començar després d'una parada cap a l'hora 11 (dos després que un node morís amb un punt de control obsolet, un després que un punt de control omplís la SAN). Reintent immediat, sense espera nocturna al rellotge: 11 hores perdudes més un segon intent de 14 hores, o 25 hores per a una recepta acabada en aquests tres

• Temps mitjà per acabar una recepta per a tots vuit, inclosos els reinicis: 18 hores. (Cinc a les 14, tres a les 25. La mediana de tots vuit continua sent de 14, cosa que ocultaria els reinicis. És per això que la mitjana és la línia de base aquí.)

• Acceleració tèrmica registrada en 7 de 8 curses. Temps mitjà amb rellotge reduït: 3 hores en un intent de 14 hores

• Escriptura al punt de control: mitjana de 22 minuts

• La victòria per rànquing no era una prova que poguessin superar. No tenien un manual d'execució. Les dues morts accidentals van ser la troballa

• Càrrega màxima de TI als dos bastidors durant l'entrenament: uns 18 kW. La fila tenia els watts. No tenia la refrigeració ni el teixit

Després dels intercanviadors de calor de la porta posterior en aquests dos bastidors, una estructura dedicada entre els quatre nodes, un petit grup NVMe per a punts de control, punts de control de 30 minuts i un llibre d'execució de reinici:

• 8 de 8 acabats al primer intent. Rellotge de paret mitjà: 9 hores

• Accelerador tèrmic: 0 de 8

• Escriptura del punt de control: mitjana de 90 segons. Pitjor del conjunt: 3 minuts

• Les dues baixes deliberades per rànquing es van reprendre des del darrer punt de control de 30 minuts. Rellotge de paret addicional en aquestes dues rondes: uns 40 minuts cadascuna, diagnòstic inclòs, de manera que les dues van estar a prop de 9 hores i 40 minuts. La mitjana en vuit rondes immòbils fins a 9 hores

• Càrrega màxima de TI encara al voltant de 18 kW. Mateixos xips. Comportament de l'edifici diferent

En aquesta mostra, el temps mitjà per acabar una recepta va baixar de 18 hores a 9 hores, o 9 hores cadascuna, 72 hores en vuit tirades. Acabat a la primera va passar de 5 de 8 a 8 de 8. Accelerador va passar de 7 de 8 a 0 de 8. Aquest últim número és el que indica si van comprar acceleradors o pisapapers. No diran que el canvi de temps és un estalvi del 50% en la producció. Vuit tirades és un conjunt petit i fàcil.

Aquestes xifres són una estimació d'exemple basada en la prova indicada, una mostra petita, un model i una sala mixta. No són un PUE, ni un megawatt del campus, ni una prova que Kestrel hagi de construir un lloc de formació en un camp. La revisió dels registres es va situar dins de les 9 hores; no ho van amagar. La xifra de 18 kW és una lectura arrodonida de PDU, no una factura de serveis públics. No van convertir les 72 hores en un cost, perquè la tarifa elèctrica combinada de la fàbrica hauria donat lloc a un fals cas de negoci.

La comprovació de servei era independent i més petita: 200 imatges de línia a la caixa tancada, totes in situ. Això és inferència, no entrenament. Barrejar les dues hauria estat l'error de la sala híbrida en miniatura.

Què pot anar malament

• Compres continua anomenant quatre servidors "el centre de dades d'IA". L'etiqueta amaga la fontaneria i la següent compra són més GPU per al mateix passadís de malalts

• Els intercanviadors de la porta posterior entren i ningú posa en marxa el costat de l'aigua. Els ventiladors encara criden. Els rellotges encara baixen

• El fabric és un únic commutador sense ruta de recanvi. Un enllaç falla i el "clúster" torna a ser de quatre estacions de treball

• Els punts de control romanen a la SAN perquè el grup NVMe era la "fase dos". La fase dos no arriba abans del següent node mort

• Estimen un PUE per a dos prestatges en una nau mixta. El clima, els límits i la resta de la fila ERP fan que aquesta proporció sigui una disfressa

• La formació i el servei comparteixen el teixit. Una inundació de punts de control fa que la línia de producció esperi. La latència final és el producte que hi ha, no la densitat

• Un node mor i algú el tracta com un tiquet de temps de funcionament en comptes d'un reinici per punt de control. Les operacions empresarials i les operacions d'IA parlen entre elles durant tota una tarda

• Podrien haver llogat una gàbia, però les imatges no poden marxar. Oblidar aquesta restricció els envia a una conversa al núvol i hauran de relaxar-se

Conclusió pràctica

El que és un Centre de Dades d'IA, en aquesta forma, no és un magatzem ni una factura de GPU. És la cel·la que permet als acceleradors acabar la cursa: energia que poden emmagatzemar, calor que surt, un teixit, un punt de control i algú a càrrec quan un rang mor. Kestrel no necessitava un campus. Necessitaven dos bastidors per deixar de fingir. La majoria dels equips haurien de contractar aquest comportament. Uns quants, amb un conjunt de dades secret i una sala que pugui suportar la calor, haurien de construir una cel·la i rebutjar la baixada.

Preguntes freqüents

Què és un centre de dades d'IA?

Un lloc de computació d'alta densitat on l'alimentació, la refrigeració, la xarxa i l'emmagatzematge es centren en l'entrenament paral·lel i el servei de models, no en files ordenades de servidors d'ús general. Està dissenyat perquè un gran nombre d'acceleradors puguin entrenar i servir models sense que es fonguin, s'aturin a la xarxa o esperin al disc. Una sala empresarial ordinària és un barri mixt. Una sala d'IA és un monocultiu la unitat de valor del qual és l'accelerador, com ara les GPU o els xips d'estil TPU. Sembla un magatzem i es comporta com una central elèctrica que fa matemàtiques.

En què es diferencia un centre de dades d'IA d'un centre de dades normal?

Les sales tradicionals optimitzen les càrregues de treball i el temps de funcionament mixtes en molts serveis petits. Els llocs d'IA canvien les ràtios: la densitat augmenta, la xarxa es converteix en un teixit sense el qual la tasca d'entrenament no pot coixejar i l'emmagatzematge ha de mantenir els punts de control en moviment o els acceleradors inactius. Les operacions empresarials pensen en tiquets i finestres de canvi. Les operacions d'IA pensen en cues de treball i en la sensació de malestar quan un node mor tard a la llarga. Encara es podrien anomenar tots dos centres de dades. L'etiqueta només amaga la fontaneria.

Per què els centres de dades d'IA utilitzen tanta energia?

El maquinari més destacat no és una CPU intel·ligent. És la safata de l'accelerador: GPU o altres xips d'IA, empaquetats en servidors, després bastidors i, finalment, files que comparteixen un teixit d'ample de banda elevat. La densitat per bastidor és el gir argumental: menys bastidors, cadascun un petit forn. Els megawatts de càrrega informàtica apareixen un cop s'omple una sala, tot i que no val la pena inventar una xifra típica. El factor limitant sovint és la subestació, no la llista de desitjos de GPU.

Com es refreden els centres de dades d'IA?

Els bastidors d'alta densitat aboquen calor d'una manera que l'aire mai no s'havia demanat que gestionés. Podeu impulsar l'aire més fort amb intercanviadors de calor a la porta posterior, passadissos més calents i contenció intel·ligent. Aleshores apareix el líquid: refrigeració directa al xip, bucles de refrigerant i immersió en alguns dissenys. Un accelerador que limita l'eficiència és un que ja heu pagat i no podeu utilitzar completament. El PUE encara importa perquè cada watt gastat en ventiladors i bombes és un watt que no va anar a una GPU. L'aigua també forma part de la història: algunes plantes beuen a glops, d'altres empassen.

Per què la xarxa és tan important com les GPU?

L'entrenament és una conversa: milers d'acceleradors que intercanvien gradients, paràmetres i fragments d'un model en estreta sincronització. Si la estructura tremola, tota la feina espera al salt més lent. És per això que les sales d'IA s'obsessionen amb les xarxes d'ample de banda elevat, la baixa latència, les estructures InfiniBand o Ethernet en el mateix rol i les topologies que no es pleguen per la meitat quan falla un enllaç. La inferència es preocupa per la latència de la cua, moltes sol·licituds més petites i l'aïllament. En aquest edifici, la fontaneria és el restaurant.

Per a què serveix un centre de dades d'IA: per a l'entrenament o per a la inferència?

La formació és una campanya: muntar un clúster, alimentar-lo amb dades, fer un control religiós i executar-lo durant hores o setmanes. La inferència és un aparador: models ja entrenats, que ara responen, amb una latència que importa. Els campus de formació persegueixen el poder, el terreny i la densitat. Els llocs d'inferència persegueixen la latència i la presència. Existeixen sales híbrides perquè el capital no és infinit, de vegades una sala amb dos bucles de refrigeració. Un accelerador una mica més antic a prop del client pot superar-ne un de glamurós a un continent de distància.

Per què és important l'emmagatzematge en un centre de dades d'IA?

Les dades d'entrenament han d'arribar prou ràpid perquè les GPU no estiguin fent el pit-joc. Els punts de control han d'aconseguir-se perquè una fallada no faci perdre una setmana. Els pesos del model s'han de carregar abans que una rèplica en funcionament estigui activa. El rendiment d'emmagatzematge, no només la capacitat, és el coll d'ampolla silenciós. Podeu gastar una fortuna en acceleradors i privar-los de menjar amb una matriu polida dissenyada per a màquines virtuals.

Què passa quan un node mor a mitja execució?

Un accelerador mort en una tasca d'entrenament estretament acoblada pot aturar tot el cor. L'entrenament vol punts de control, no optimisme. La inferència drena el node malalt, manté una rèplica responent i es manté activa. Les finestres de canvi encara xoquen amb execucions d'entrenament a les quals no els importa el vostre calendari. La redundància encara és important per a l'energia, la refrigeració, els camins i l'emmagatzematge, però el mode de fallada és menys ordenat que l'antiga diapositiva de nou de temps de funcionament.

Quin és l'impacte d'un centre de dades d'IA sobre la xarxa, l'aigua i els veïns?

La connexió a la xarxa sovint és el veritable procés de selecció del lloc. El terreny és fàcil en comparació amb una subestació i una empresa de serveis públics que té altres clients. L'aigua per a la refrigeració, si la feu servir, es converteix en un problema veí tan bon punt la pluja és desagradable, juntament amb el soroll, el volum visual i la calor a una tanca perimetral. La formació es pot amagar en mercats d'energia més barats i climes més freds. A Inference li agrada estar a prop dels usuaris. No hi ha un lloc perfecte. Hi ha un compromís amb un comunicat de premsa.

Necessito tenir un centre de dades d'IA en propietat o l'hauria de llogar?

La majoria de la gent no necessita ser propietària d'una d'aquestes sales. Els hiperescaladors construeixen perquè el producte és la flota. Els laboratoris construeixen quan el temps de cua és el coll d'ampolla o les dades no poden sortir. Un banc, hospital, govern o fabricant amb un conjunt de dades secret pot fer que la colocation local o privada sigui racional. Tothom hauria de llogar: colocation preparada per a IA, una reserva al núvol o un clúster gestionat. Obteniu els acceleradors sense convertir-vos en un operador de central elèctrica.

Referències

1. IEA - www.iea.org

2. LBNL - centres de dades.lbl.gov

3. La Xarxa Verda - www.thegreengrid.org

4. LBNL - centres de dades.lbl.gov

5. LBNL - centres de dades.lbl.gov

6. Uptime Institute - journal.uptimeinstitute.com

7. NVIDIA - developer.nvidia.com

8. NVIDIA - docs.nvidia.com

9. NVIDIA - docs.nvidia.com

10. NVIDIA - docs.nvidia.com

11. Google Cloud - docs.cloud.google.com

Troba la darrera versió d'IA a la botiga oficial d'assistents d'IA

Sobre nosaltres