Etikett: datacenter

  • Blackwell – så blev grafikprocessorn en motor för AI-eran

    Nvidias Blackwell-arkitektur driver både enorma AI-system och grafikkort i vanliga datorer. Bakom namnet finns en ny generation kretsar som räknar med lägre precision, flyttar data i extrem hastighet och i datacentret kopplar ihop två stora chip så att de fungerar som en enda grafikprocessor. Men vad innebär det egentligen – och varför är det viktigt?

    När vi hör ordet grafikprocessor tänker många fortfarande på datorspel. En GPU skapades ursprungligen för att räkna ut färg, ljus och geometri för miljontals bildpunkter samtidigt. Just förmågan att utföra väldigt många likartade beräkningar parallellt har dock gjort grafikprocessorn minst lika viktig för artificiell intelligens.

    En vanlig processor, CPU, kan liknas vid en grupp mycket skickliga problemlösare som snabbt växlar mellan olika arbetsuppgifter. En GPU påminner mer om en enorm fabrik där tusentals enklare arbetsstationer kan utföra samma typ av operation samtidigt. När ett neuralt nätverk tränas eller används handlar en stor del av arbetet om upprepade multiplikationer av stora matriser. Det är precis den typ av uppgift som en GPU är bra på.

    Blackwell är Nvidias arkitekturfamilj för den här nya verkligheten. Den presenterades 2024 som efterföljare till Hopper i datacenter och kom senare till persondatorer i bland annat GeForce RTX 50-serien, där den ersatte Ada Lovelace. Kretsarna delar grundidéer, men produkterna för datacenter och konsumentdatorer är inte samma chip. AI-systemen är byggda för enorma språkmodeller och stora serverhallar, medan GeForce-varianterna även måste hantera spel, bildskärmar och videokodning.

    Två jättelika chip som uppträder som ett

    Det finns en fysisk gräns för hur stor en krets kan tillverkas med litografimaskinerna i en halvledarfabrik. Ju större ett enskilt chip blir, desto större är dessutom risken att ett litet tillverkningsfel gör hela kretsen oanvändbar.

    I Blackwells datacentervariant har Nvidia därför placerat två mycket stora kiseldelar i samma kapsel. De är förenade med en intern länk som kan överföra 10 terabyte per sekund. För programmet ska de båda delarna i praktiken uppföra sig som en sammanhängande GPU med gemensamt minne och samordnad cache.

    Tillsammans innehåller lösningen 208 miljarder transistorer. Det är svårt att föreställa sig antalet, men varje transistor fungerar i princip som en mikroskopisk elektronisk strömbrytare. Genom att kombinera miljarder sådana strömbrytare kan kretsen utföra de beräkningar som krävs för exempelvis en språkmodell.

    Konstruktionen visar också hur chipindustrin förändras. Under lång tid kom stora prestandalyft främst från att transistorerna blev mindre. Blackwell tillverkas med en specialanpassad TSMC-process kallad 4NP, men bygger inte på något dramatiskt hopp till en helt ny tillverkningsteknik. I stället kommer en stor del av förbättringarna från arkitekturen, paketeringen och förmågan att få flera kretsdelar att samarbeta.

    Färre siffror kan ge fler beräkningar

    En av Blackwells viktigaste nyheter handlar inte om att räkna med större tal, utan om att ibland använda färre bitar för varje tal.

    Traditionella vetenskapliga beräkningar kan kräva hög numerisk precision. Ett AI-system behöver däremot inte alltid lagra varje vikt i ett neuralt nätverk med många decimaler. Om talen kan representeras med exempelvis fyra bitar i stället för åtta eller sexton tar de mindre plats i minnet och går snabbare att flytta och bearbeta.

    Det kan jämföras med att transportera avrundade mått i små paket i stället för mycket exakta mått i stora lådor. Lastbilen får plats med fler paket och fabriken kan arbeta snabbare. Nackdelen är att en del information försvinner vid avrundningen.

    Blackwells femte generation Tensor-kärnor är konstruerade för bland annat fyrabitarsformat som FP4 och olika så kallade microscaling-format. Tekniken delar in talen i små grupper och använder gemensamma skalningsvärden för att behålla så mycket noggrannhet som möjligt. Resultatet kan bli högre beräkningshastighet och möjlighet att köra större modeller i samma mängd minne.

    Det betyder däremot inte att alla AI-beräkningar utan vidare kan göras med fyra bitar. Hur mycket precision som kan tas bort utan att modellens svar försämras beror på modellen, arbetsuppgiften och programvaran. Därför kombineras ofta flera talformat under både träning och användning.

    Minnet är minst lika viktigt som själva räknandet

    En modern GPU kan utföra oerhört många operationer per sekund, men beräkningsenheterna gör ingen nytta om de står och väntar på data. Minnesbandbredden – hur snabbt information kan flyttas till och från kretsen – har därför blivit en av de viktigaste begränsningarna inom AI.

    Datacenterprodukterna använder HBM3E, ett högpresterande minne som placeras mycket nära grafikprocessorn och ger extremt bred dataöverföring. Konsument- och arbetsstationskorten använder i stället GDDR7, som är bättre anpassat för grafikkortens kostnad, konstruktion och användningsområden.

    I riktigt stora AI-system räcker inte heller en enda GPU. Då måste många processorer kommunicera med varandra. Nvidias lösning bygger bland annat på NVLink och NVSwitch, som gör det möjligt att behandla ett helt serverrack som en mycket stor beräkningsmaskin. Det är en viktig del av förklaringen till att dagens AI-kapplöpning handlar lika mycket om nätverk, minne, kylning och programvara som om själva chipet.

    Från AI-datacenter till datorspel

    På konsumentsidan används Blackwell i GeForce RTX 50-serien. Här arbetar vanliga CUDA-kärnor tillsammans med särskilda Tensor-kärnor för AI och RT-kärnor för strålspårning.

    Strålspårning försöker efterlikna hur ljusstrålar studsar genom en scen. Metoden kan skapa realistiska reflexer, skuggor och belysning, men kräver mycket beräkningskraft. Blackwell har fjärde generationens RT-kärnor och funktioner som är anpassade för mycket detaljrik geometri, exempelvis hårstrån och komplexa 3D-miljöer.

    AI används samtidigt för att rekonstruera en skarpare bild från en lägre upplösning och för att skapa extra bildrutor mellan dem som spelet faktiskt har renderat. I DLSS 4 används transformermodeller för delar av bildrekonstruktionen, och de kraftigaste Blackwell-korten kan generera flera mellanbilder.

    Det kan ge ett betydligt högre visat bildflöde, men en AI-genererad bildruta är inte samma sak som en fullständigt beräknad bildruta. Grundprestanda, svarstid och bildkvalitet är fortfarande viktiga när grafikkort jämförs. Tekniken kan ge imponerande resultat, men den trollar inte bort alla flaskhalsar.

    En liten RISC-V-processor håller ordning

    En mindre uppmärksammad detalj är att Blackwell innehåller en särskild styrprocessor baserad på den öppna instruktionsarkitekturen RISC-V. Nvidia kallar den AI Management Processor, AMP.

    Dess uppgift är inte att träna språkmodellen eller rita spelgrafiken. Den fungerar snarare som en arbetsledare som hjälper till att schemalägga uppgifter och fördela grafikprocessorns resurser. Genom att flytta mer av den administrationen från datorns CPU kan GPU i större utsträckning styra sitt eget arbete.

    Det är ett intressant exempel på hur moderna systemkretsar byggs: en kraftfull GPU är egentligen ett helt samhälle av olika specialiserade beräkningsenheter, minnen, länkar och små styrprocessorer.

    Snabbare betyder inte automatiskt energisnålare

    Nvidia framhåller stora förbättringar i prestanda och energieffektivitet för vissa AI-arbetslaster. Lägre precision kan minska både beräkningsarbete och minnestrafik, vilket i sin tur kan sänka energin som krävs för varje producerat svar från en AI-modell.

    Men effektivare chip innebär inte nödvändigtvis att den totala elförbrukningen minskar. När varje beräkning blir billigare byggs ofta större modeller och fler datacenter. De största Blackwell-systemen kräver avancerad strömförsörjning och vätskekylning, och den verkliga miljöpåverkan avgörs av hur mycket utrustningen används, hur elen produceras och hur länge hårdvaran får vara i drift.

    Prestandasiffror måste också läsas med försiktighet. En uppgift kan bli mångdubbelt snabbare om den kan använda FP4 och Nvidias optimerade programvara, medan ett annat program kanske bara förbättras marginellt. Det finns ingen enda siffra som beskriver hur snabbt en hel arkitektur är.

    Uppkallad efter en matematisk pionjär

    Arkitekturen har fått sitt namn efter den amerikanske matematikern och statistikern David Blackwell, som gjorde viktiga insatser inom sannolikhetsteori, statistik, spelteori och informationsteori. År 1965 blev han den första afroamerikanen som valdes in i USA vetenskapsakademi, National Academy of Sciences.

    Namnet är särskilt passande eftersom flera av de områden Blackwell arbetade med ligger nära de matematiska grunderna för dagens maskininlärning: hur man fattar beslut under osäkerhet, hur information kan beskrivas och hur sannolikheter kan användas för att dra slutsatser.

    Mer än bara ett snabbare grafikkort

    Blackwell visar vart processorutvecklingen är på väg. Framtidens prestanda kommer inte enbart från mindre transistorer eller högre klockfrekvens. Den kommer också från att dela upp stora konstruktioner, koppla samman dem med extremt snabba länkar, använda olika numeriska format och bygga särskilda enheter för avgränsade uppgifter.

    För datorspelaren märks utvecklingen som bättre strålspårning och mer AI-baserad bildgenerering. För forskaren eller AI-utvecklaren handlar den om att få plats med större modeller och utföra fler beräkningar per watt. För datacenteroperatören är Blackwell däremot inte bara ett chip, utan en del av ett helt system av processorer, minne, nätverk, kylning och programvara.

    Det är kanske den viktigaste lärdomen: den moderna grafikprocessorn är inte längre bara en komponent som ritar bilder. Den har blivit en av de centrala maskinerna bakom den pågående AI-revolutionen.

    Teknisk faktaruta

    • Arkitektur: Nvidia Blackwell
    • Presenterad: mars 2024 för datacenter; GeForce RTX 50-serien presenterades i januari 2025
    • Föregångare: Hopper i datacenter och Ada Lovelace för konsumentgrafik
    • Tillverkning: specialanpassade TSMC-processer, 4NP för datacenter och 4N för konsumentkretsar
    • Minne: HBM3E i datacenterprodukter och GDDR7 i konsumentprodukter
    • AI-beräkning: femte generationens Tensor-kärnor med stöd för bland annat FP4
    • Grafik: fjärde generationens RT-kärnor för strålspårning
    • Styrning: särskild AI Management Processor baserad på RISC-V

    Källor och vidare läsning

    Youtube innehålle om Blackwell

    Annons

    Strul med e-posten? Hjälp med TV? Problem med wifi?
    Digital Fixare

  • AMD EPYC 7302 – sexton kärnor byggda för servrar och tunga arbetsstationer

    AMD EPYC 7302 är en kraftfull serverprocessor med 16 kärnor och 32 trådar, utvecklad för virtualisering, databaser och andra krävande arbetsuppgifter. Med Zen 2-arkitektur, 128 MB L3-cache, åttakanaligt DDR4-minne och stöd för PCI Express 4.0 erbjuder den fortfarande imponerande kapacitet för servrar och avancerade arbetsstationer.

    AMD EPYC 7302 är en serverprocessor med 16 kärnor och 32 trådar. När den lanserades 2019 var den en del av AMD:s stora återkomst på servermarknaden. Med stöd för stora mängder arbetsminne, 128 MB cache, PCI Express 4.0 och system med två processorer riktar den sig framför allt till virtualisering, databaser och andra arbetsuppgifter där många beräkningar ska utföras samtidigt.

    En processor för servrar – inte vanliga hemdatorer

    EPYC 7302 tillhör AMD:s andra generation EPYC-processorer, med kodnamnet Rome. Den använder Zen 2-arkitekturen och tillverkas med en processteknik på 7 nanometer.

    Processorn passar i sockeln SP3, som är betydligt större än de processorsocklar som används i vanliga stationära datorer. Det beror bland annat på att EPYC-processorer behöver många anslutningar för arbetsminne, PCI Express och kommunikation mellan flera processorer.

    EPYC 7302 kan användas ensam, men den stöder även system med två processorer. En server med två EPYC 7302 får därmed totalt:

    • 32 processorkärnor
    • 64 trådar
    • 256 MB L3-cache

    Det gör plattformen lämpad för exempelvis webbservrar, databasservrar, virtuella maskiner och tunga tekniska beräkningar.

    Sexton kärnor och 32 trådar

    Varje fysisk processorkärna kan hantera två trådar samtidigt med hjälp av AMD:s teknik Simultaneous Multithreading, vanligen förkortad SMT.

    Det innebär inte att varje kärna blir dubbelt så snabb. Tekniken gör däremot att processorn kan utnyttja sina interna beräkningsenheter mer effektivt. När en instruktion väntar på data kan processorn arbeta vidare med en annan tråd.

    Resultatet blir bättre prestanda i program som kan fördela arbetet över många trådar. Exempel är:

    • virtualisering
    • databaser
    • kompilering av stora program
    • rendering
    • videokodning
    • vetenskapliga beräkningar
    • drift av många samtidiga tjänster

    Program som bara använder en eller ett fåtal trådar får däremot inte samma fördel av det stora antalet kärnor.

    Måttlig klockfrekvens men många samtidiga beräkningar

    EPYC 7302 arbetar normalt med en klockfrekvens på 3,0 GHz och kan under gynnsamma förhållanden öka frekvensen till omkring 3,3 GHz.

    Det är lägre än hos många moderna processorer för speldatorer och vanliga arbetsstationer. Serverprocessorer är dock konstruerade efter andra prioriteringar. Målet är inte alltid högsta möjliga prestanda i en enskild tråd, utan stabil och förutsägbar prestanda när många uppgifter körs samtidigt.

    Processorn har dessutom en låst multiplikator. Den är alltså inte avsedd för traditionell överklockning. I en server är stabilitet, energieffektivitet och lång drifttid normalt viktigare än att pressa fram några extra procent prestanda.

    Stor cache minskar väntetiderna

    EPYC 7302 har sammanlagt 128 MB L3-cache. Cacheminnet fungerar som ett mycket snabbt mellanlager mellan processorkärnorna och det betydligt långsammare arbetsminnet.

    När information som processorn behöver redan finns i cacheminnet slipper den hämta samma data från arbetsminnet. Det kan ge stora prestandavinster i arbetsuppgifter där många processer arbetar med samma eller närliggande data.

    Varje kärna har dessutom:

    • 32 KB L1-cache för instruktioner
    • 32 KB L1-cache för data
    • 512 KB L2-cache

    Det ger totalt 512 KB instruktionscache, 512 KB datacache och 8 MB L2-cache för hela processorn.

    Åtta minneskanaler

    En av de största skillnaderna mellan EPYC och vanliga konsumentprocessorer är minnessystemet.

    EPYC 7302 har stöd för åttakanaligt DDR4-minne med officiella hastigheter på upp till 3 200 MT/s. Det ger betydligt högre minnesbandbredd än hos vanliga stationära datorer, som ofta använder två minneskanaler.

    Den höga minnesbandbredden är viktig för exempelvis databaser, beräkningsprogram och virtualisering. I sådana system kan många processorkärnor behöva läsa och skriva stora mängder data samtidigt.

    Processorn stöder även ECC-minne. ECC kan upptäcka och korrigera vissa typer av minnesfel innan de orsakar skadade filer, programkrascher eller felaktiga beräkningar.

    Det är särskilt viktigt i system som ska vara i drift dygnet runt eller hanterar affärskritiska data.

    PCI Express 4.0 ger gott om anslutningsmöjligheter

    EPYC 7302 använder PCI Express 4.0 för kommunikationen med bland annat nätverkskort, lagringsenheter, grafikkort och andra expansionskort.

    EPYC-plattformen erbjuder ett mycket stort antal PCI Express-banor jämfört med vanliga datorplattformar. Det gör det möjligt att bygga servrar med exempelvis:

    • flera snabba NVMe-enheter
    • nätverkskort för 10, 25, 40 eller 100 gigabit
    • flera grafikkort eller beräkningskort
    • avancerade lagringskontroller
    • acceleratorer för artificiell intelligens

    PCI Express 4.0 har dubbelt så hög överföringskapacitet per bana som PCI Express 3.0. Det var en viktig nyhet när Rome-generationen lanserades.

    Byggd för virtualisering

    EPYC 7302 har hårdvarustöd för virtualisering, vilket gör att en fysisk server kan delas upp i flera virtuella datorer.

    Varje virtuell maskin kan köra sitt eget operativsystem och fungera som om den vore en separat dator. Det gör det möjligt att samla många servrar på en enda fysisk maskin och därmed minska behovet av hårdvara, ström och utrymme.

    Processorn stöder även IOMMU, som bland annat används för PCI-passthrough. Med denna teknik kan en virtuell maskin få direkt åtkomst till en fysisk enhet, exempelvis ett grafikkort, nätverkskort eller lagringskort.

    Det kan ge betydligt bättre prestanda än om all kommunikation måste gå genom virtualiseringsprogrammet.

    Ingen inbyggd grafik

    EPYC 7302 saknar integrerad grafikprocessor. Det är normalt för processorer i denna serverklass.

    Många servermoderkort har i stället en separat, enkel grafikkrets för administration och felsökning. Den används främst för att visa en textkonsol, BIOS-inställningar och fjärradministration.

    Ska processorn användas i en arbetsstation för exempelvis rendering eller videoredigering behövs ett separat grafikkort.

    Effektförbrukning och kylning

    Processorn har en angiven TDP på 155 watt. Det är högt jämfört med enklare datorprocessorer, men förhållandevis rimligt för en serverprocessor med 16 kärnor, åtta minneskanaler och omfattande stöd för externa enheter.

    EPYC 7302 kräver ändå ett kraftfullt kylsystem och ett moderkort som är konstruerat för SP3-processorer. Vanliga processorkylare för AM4 eller AM5 passar inte.

    I rackmonterade servrar används ofta stora kylflänsar tillsammans med kraftiga systemfläktar. I en arbetsstation kan en större tornkylare eller specialanpassad vattenkylning användas, beroende på chassi och moderkort.

    Stöd för AVX och AVX2

    Processorn har stöd för instruktionsuppsättningarna AVX och AVX2. Dessa kan bearbeta flera tal med en enda instruktion och används därför i program för bland annat:

    • videokodning
    • signalbehandling
    • vetenskapliga beräkningar
    • komprimering
    • kryptering
    • maskininlärning

    EPYC 7302 saknar däremot stöd för AVX-512. Den instruktionsuppsättningen förekommer framför allt i vissa Intel-processorer och i senare AMD-generationer.

    Fortfarande användbar på begagnatmarknaden

    EPYC 7302 är inte längre en modern serverprocessor, men den kan fortfarande vara intressant på begagnatmarknaden. Sexton kärnor, 32 trådar, åtta minneskanaler och 128 MB L3-cache räcker långt för många hemmaservrar, virtualiseringsmiljöer och arbetsstationer.

    Den stora kostnaden är ofta inte själva processorn. SP3-moderkort, registrerat ECC-minne, kraftig kylning och lämpliga nätaggregat kan göra ett komplett system betydligt dyrare.

    Energiförbrukningen bör också vägas mot prestandan. Nyare serverprocessorer kan ofta utföra mer arbete per förbrukad watt.

    För den som hittar ett komplett och prisvärt system kan EPYC 7302 ändå erbjuda mycket beräkningskapacitet, gott om minnesbandbredd och ovanligt många expansionsmöjligheter.

    Fakta om AMD EPYC 7302

    EgenskapSpecifikation
    ProcessorklassServer och arbetsstation
    ArkitekturZen 2, Rome
    LanseringAugusti 2019
    SockelSP3
    Antal kärnor16
    Antal trådar32
    Grundfrekvens3,0 GHz
    TurbofrekvensUpp till 3,3 GHz
    L1-cache16 × 32 KB instruktioner och 16 × 32 KB data
    L2-cache16 × 512 KB
    L3-cache128 MB
    TDP155 watt
    MinnesstödÅttakanaligt DDR4, upp till 3 200 MT/s
    ECC-stödJa
    PCI ExpressPCI Express 4.0
    FlerprocessorsystemUpp till två processorer
    Integrerad grafikNej
    VirtualiseringJa
    IOMMU och PCI-passthroughJa
    InstruktionsstödAVX och AVX2
    AVX-512Nej
    Ursprungligt rekommenderat pris978 dollar

    Annons

    Strul med e-posten? Hjälp med TV? Problem med wifi?
    Digital Fixare