Etikett: CUDA

  • Blackwell – så blev grafikprocessorn en motor för AI-eran

    Nvidias Blackwell-arkitektur driver både enorma AI-system och grafikkort i vanliga datorer. Bakom namnet finns en ny generation kretsar som räknar med lägre precision, flyttar data i extrem hastighet och i datacentret kopplar ihop två stora chip så att de fungerar som en enda grafikprocessor. Men vad innebär det egentligen – och varför är det viktigt?

    När vi hör ordet grafikprocessor tänker många fortfarande på datorspel. En GPU skapades ursprungligen för att räkna ut färg, ljus och geometri för miljontals bildpunkter samtidigt. Just förmågan att utföra väldigt många likartade beräkningar parallellt har dock gjort grafikprocessorn minst lika viktig för artificiell intelligens.

    En vanlig processor, CPU, kan liknas vid en grupp mycket skickliga problemlösare som snabbt växlar mellan olika arbetsuppgifter. En GPU påminner mer om en enorm fabrik där tusentals enklare arbetsstationer kan utföra samma typ av operation samtidigt. När ett neuralt nätverk tränas eller används handlar en stor del av arbetet om upprepade multiplikationer av stora matriser. Det är precis den typ av uppgift som en GPU är bra på.

    Blackwell är Nvidias arkitekturfamilj för den här nya verkligheten. Den presenterades 2024 som efterföljare till Hopper i datacenter och kom senare till persondatorer i bland annat GeForce RTX 50-serien, där den ersatte Ada Lovelace. Kretsarna delar grundidéer, men produkterna för datacenter och konsumentdatorer är inte samma chip. AI-systemen är byggda för enorma språkmodeller och stora serverhallar, medan GeForce-varianterna även måste hantera spel, bildskärmar och videokodning.

    Två jättelika chip som uppträder som ett

    Det finns en fysisk gräns för hur stor en krets kan tillverkas med litografimaskinerna i en halvledarfabrik. Ju större ett enskilt chip blir, desto större är dessutom risken att ett litet tillverkningsfel gör hela kretsen oanvändbar.

    I Blackwells datacentervariant har Nvidia därför placerat två mycket stora kiseldelar i samma kapsel. De är förenade med en intern länk som kan överföra 10 terabyte per sekund. För programmet ska de båda delarna i praktiken uppföra sig som en sammanhängande GPU med gemensamt minne och samordnad cache.

    Tillsammans innehåller lösningen 208 miljarder transistorer. Det är svårt att föreställa sig antalet, men varje transistor fungerar i princip som en mikroskopisk elektronisk strömbrytare. Genom att kombinera miljarder sådana strömbrytare kan kretsen utföra de beräkningar som krävs för exempelvis en språkmodell.

    Konstruktionen visar också hur chipindustrin förändras. Under lång tid kom stora prestandalyft främst från att transistorerna blev mindre. Blackwell tillverkas med en specialanpassad TSMC-process kallad 4NP, men bygger inte på något dramatiskt hopp till en helt ny tillverkningsteknik. I stället kommer en stor del av förbättringarna från arkitekturen, paketeringen och förmågan att få flera kretsdelar att samarbeta.

    Färre siffror kan ge fler beräkningar

    En av Blackwells viktigaste nyheter handlar inte om att räkna med större tal, utan om att ibland använda färre bitar för varje tal.

    Traditionella vetenskapliga beräkningar kan kräva hög numerisk precision. Ett AI-system behöver däremot inte alltid lagra varje vikt i ett neuralt nätverk med många decimaler. Om talen kan representeras med exempelvis fyra bitar i stället för åtta eller sexton tar de mindre plats i minnet och går snabbare att flytta och bearbeta.

    Det kan jämföras med att transportera avrundade mått i små paket i stället för mycket exakta mått i stora lådor. Lastbilen får plats med fler paket och fabriken kan arbeta snabbare. Nackdelen är att en del information försvinner vid avrundningen.

    Blackwells femte generation Tensor-kärnor är konstruerade för bland annat fyrabitarsformat som FP4 och olika så kallade microscaling-format. Tekniken delar in talen i små grupper och använder gemensamma skalningsvärden för att behålla så mycket noggrannhet som möjligt. Resultatet kan bli högre beräkningshastighet och möjlighet att köra större modeller i samma mängd minne.

    Det betyder däremot inte att alla AI-beräkningar utan vidare kan göras med fyra bitar. Hur mycket precision som kan tas bort utan att modellens svar försämras beror på modellen, arbetsuppgiften och programvaran. Därför kombineras ofta flera talformat under både träning och användning.

    Minnet är minst lika viktigt som själva räknandet

    En modern GPU kan utföra oerhört många operationer per sekund, men beräkningsenheterna gör ingen nytta om de står och väntar på data. Minnesbandbredden – hur snabbt information kan flyttas till och från kretsen – har därför blivit en av de viktigaste begränsningarna inom AI.

    Datacenterprodukterna använder HBM3E, ett högpresterande minne som placeras mycket nära grafikprocessorn och ger extremt bred dataöverföring. Konsument- och arbetsstationskorten använder i stället GDDR7, som är bättre anpassat för grafikkortens kostnad, konstruktion och användningsområden.

    I riktigt stora AI-system räcker inte heller en enda GPU. Då måste många processorer kommunicera med varandra. Nvidias lösning bygger bland annat på NVLink och NVSwitch, som gör det möjligt att behandla ett helt serverrack som en mycket stor beräkningsmaskin. Det är en viktig del av förklaringen till att dagens AI-kapplöpning handlar lika mycket om nätverk, minne, kylning och programvara som om själva chipet.

    Från AI-datacenter till datorspel

    På konsumentsidan används Blackwell i GeForce RTX 50-serien. Här arbetar vanliga CUDA-kärnor tillsammans med särskilda Tensor-kärnor för AI och RT-kärnor för strålspårning.

    Strålspårning försöker efterlikna hur ljusstrålar studsar genom en scen. Metoden kan skapa realistiska reflexer, skuggor och belysning, men kräver mycket beräkningskraft. Blackwell har fjärde generationens RT-kärnor och funktioner som är anpassade för mycket detaljrik geometri, exempelvis hårstrån och komplexa 3D-miljöer.

    AI används samtidigt för att rekonstruera en skarpare bild från en lägre upplösning och för att skapa extra bildrutor mellan dem som spelet faktiskt har renderat. I DLSS 4 används transformermodeller för delar av bildrekonstruktionen, och de kraftigaste Blackwell-korten kan generera flera mellanbilder.

    Det kan ge ett betydligt högre visat bildflöde, men en AI-genererad bildruta är inte samma sak som en fullständigt beräknad bildruta. Grundprestanda, svarstid och bildkvalitet är fortfarande viktiga när grafikkort jämförs. Tekniken kan ge imponerande resultat, men den trollar inte bort alla flaskhalsar.

    En liten RISC-V-processor håller ordning

    En mindre uppmärksammad detalj är att Blackwell innehåller en särskild styrprocessor baserad på den öppna instruktionsarkitekturen RISC-V. Nvidia kallar den AI Management Processor, AMP.

    Dess uppgift är inte att träna språkmodellen eller rita spelgrafiken. Den fungerar snarare som en arbetsledare som hjälper till att schemalägga uppgifter och fördela grafikprocessorns resurser. Genom att flytta mer av den administrationen från datorns CPU kan GPU i större utsträckning styra sitt eget arbete.

    Det är ett intressant exempel på hur moderna systemkretsar byggs: en kraftfull GPU är egentligen ett helt samhälle av olika specialiserade beräkningsenheter, minnen, länkar och små styrprocessorer.

    Snabbare betyder inte automatiskt energisnålare

    Nvidia framhåller stora förbättringar i prestanda och energieffektivitet för vissa AI-arbetslaster. Lägre precision kan minska både beräkningsarbete och minnestrafik, vilket i sin tur kan sänka energin som krävs för varje producerat svar från en AI-modell.

    Men effektivare chip innebär inte nödvändigtvis att den totala elförbrukningen minskar. När varje beräkning blir billigare byggs ofta större modeller och fler datacenter. De största Blackwell-systemen kräver avancerad strömförsörjning och vätskekylning, och den verkliga miljöpåverkan avgörs av hur mycket utrustningen används, hur elen produceras och hur länge hårdvaran får vara i drift.

    Prestandasiffror måste också läsas med försiktighet. En uppgift kan bli mångdubbelt snabbare om den kan använda FP4 och Nvidias optimerade programvara, medan ett annat program kanske bara förbättras marginellt. Det finns ingen enda siffra som beskriver hur snabbt en hel arkitektur är.

    Uppkallad efter en matematisk pionjär

    Arkitekturen har fått sitt namn efter den amerikanske matematikern och statistikern David Blackwell, som gjorde viktiga insatser inom sannolikhetsteori, statistik, spelteori och informationsteori. År 1965 blev han den första afroamerikanen som valdes in i USA vetenskapsakademi, National Academy of Sciences.

    Namnet är särskilt passande eftersom flera av de områden Blackwell arbetade med ligger nära de matematiska grunderna för dagens maskininlärning: hur man fattar beslut under osäkerhet, hur information kan beskrivas och hur sannolikheter kan användas för att dra slutsatser.

    Mer än bara ett snabbare grafikkort

    Blackwell visar vart processorutvecklingen är på väg. Framtidens prestanda kommer inte enbart från mindre transistorer eller högre klockfrekvens. Den kommer också från att dela upp stora konstruktioner, koppla samman dem med extremt snabba länkar, använda olika numeriska format och bygga särskilda enheter för avgränsade uppgifter.

    För datorspelaren märks utvecklingen som bättre strålspårning och mer AI-baserad bildgenerering. För forskaren eller AI-utvecklaren handlar den om att få plats med större modeller och utföra fler beräkningar per watt. För datacenteroperatören är Blackwell däremot inte bara ett chip, utan en del av ett helt system av processorer, minne, nätverk, kylning och programvara.

    Det är kanske den viktigaste lärdomen: den moderna grafikprocessorn är inte längre bara en komponent som ritar bilder. Den har blivit en av de centrala maskinerna bakom den pågående AI-revolutionen.

    Teknisk faktaruta

    • Arkitektur: Nvidia Blackwell
    • Presenterad: mars 2024 för datacenter; GeForce RTX 50-serien presenterades i januari 2025
    • Föregångare: Hopper i datacenter och Ada Lovelace för konsumentgrafik
    • Tillverkning: specialanpassade TSMC-processer, 4NP för datacenter och 4N för konsumentkretsar
    • Minne: HBM3E i datacenterprodukter och GDDR7 i konsumentprodukter
    • AI-beräkning: femte generationens Tensor-kärnor med stöd för bland annat FP4
    • Grafik: fjärde generationens RT-kärnor för strålspårning
    • Styrning: särskild AI Management Processor baserad på RISC-V

    Källor och vidare läsning

    Youtube innehålle om Blackwell

    Annons

    Strul med e-posten? Hjälp med TV? Problem med wifi?
    Digital Fixare

  • En superdator på skrivbordet – HP ZGX Nano G1n AI Station

    En dator stor som en liten bok kan idag utföra AI-beräkningar som för bara några år sedan krävde hela serverhallar. HP ZGX Nano G1n AI Station är ett exempel på hur kraftfull AI-hårdvara nu krymper till skrivbordsformat – och gör det möjligt att utveckla och testa avancerade AI-modeller lokalt istället för i molnet.

    Artificiell intelligens har länge krävt enorma datacenter och kraftfulla servrar. Men utvecklingen går snabbt, och ny hårdvara gör det möjligt att köra avancerade AI-modeller direkt på skrivbordet. Ett exempel är HP ZGX Nano G1n AI Station, en mycket kompakt men kraftfull dator som är specialbyggd för AI-utveckling.

    Trots sin lilla storlek rymmer systemet teknik som tidigare främst funnits i stora servermiljöer.

    AI-kraft i ett mycket litet format

    HP ZGX Nano G1n är en så kallad mini-workstation, bara omkring 15 × 15 centimeter stor och drygt fem centimeter hög. Den väger runt 1,25 kilo, men inuti finns en avancerad beräkningsplattform utvecklad tillsammans med NVIDIA.

    Kärnan i systemet är NVIDIA GB10 Grace Blackwell Superchip, en kombinerad processor och grafikprocessor designad specifikt för AI-arbetsbelastningar.

    Den innehåller:

    • en 20-kärnig Arm-processor
    • ett Blackwell-baserat GPU-system
    • CUDA-kärnor för massiv parallell beräkning
    • Tensor-kärnor för maskininlärning
    • RT-kärnor för avancerad grafik och simulering

    Tillsammans kan systemet nå upp till 1000 TOPS (trillion operations per second) i AI-beräkningar. Det gör maskinen kapabel att träna, finjustera eller köra avancerade AI-modeller lokalt.

    Enhetligt minne för stora AI-modeller

    En av de viktigaste egenskaperna är datorns 128 GB LPDDR5x-minne, som är organiserat som ett enhetligt systemminne. Det betyder att CPU och GPU delar samma minnespool utan kopiering mellan olika minnesområden.

    Detta är avgörande för AI-arbete, eftersom moderna språkmodeller kräver mycket stora datamängder i minnet.

    Med denna arkitektur kan utvecklare arbeta med modeller på upp till cirka 200 miljarder parametrar, vilket tidigare nästan alltid krävde ett helt kluster av servrar.

    Minnet har dessutom en bandbredd på 273 GB per sekund, vilket gör att stora datamängder kan flyttas snabbt mellan processorkärnor.

    Optimerat operativsystem för AI

    Till skillnad från vanliga arbetsstationer kör ZGX Nano inte Windows. Systemet levereras i stället med:

    • NVIDIA DGX OS 7
    • Ubuntu 24.04

    Operativsystemet innehåller en komplett AI-programvarustack, bland annat:

    • CUDA 13
    • NVIDIA RTX-drivrutiner
    • NVIDIA AI Workbench
    • DGX Dashboard
    • NVIDIA Connect

    Denna miljö är byggd för att snabbt kunna sätta upp experiment med maskininlärning, analysera data och finjustera AI-modeller.

    Snabb lagring och nätverk

    För att hantera stora datamängder kan systemet utrustas med 1 till 4 TB NVMe-lagring, i form av självkrypterande M.2-enheter.

    Nätverksanslutningarna är också ovanligt kraftfulla för en så liten dator:

    • 10-gigabit Ethernet
    • 200-gigabit QSFP-anslutningar för datacenter-nätverk

    Det gör att flera system kan kopplas ihop i kluster eller integreras i större AI-miljöer.

    Låg energiförbrukning för sin prestanda

    Trots sin beräkningskraft använder systemet relativt lite energi. Vid maximal belastning ligger förbrukningen kring 220–230 watt, vilket är betydligt lägre än traditionella GPU-servrar.

    Strömförsörjningen sker via en 240-watt USB-C-adapter, vilket är ovanligt för en AI-arbetsstation.

    AI-utveckling direkt på skrivbordet

    HP ZGX Nano G1n representerar en tydlig trend inom datorutveckling: avancerad AI-beräkning flyttar från stora serverhallar till mindre, lokala system.

    För forskare, utvecklare och företag innebär det flera fördelar:

    • snabbare experiment utan kötid i molntjänster
    • bättre kontroll över känslig data
    • lägre kostnader för AI-utveckling

    Det innebär också att allt fler kan arbeta med stora AI-modeller direkt på sin egen arbetsstation.

    Från datacenter till skrivbord

    Under lång tid har kraftfull AI-utveckling varit beroende av enorma datacenter med tusentals GPU:er. Med system som HP ZGX Nano G1n börjar denna kapacitet krympa ner till storleken av en liten skrivbordsdator.

    Det betyder inte att datacenter försvinner – men det öppnar dörren för en ny generation lokala AI-arbetsstationer där avancerad maskininlärning kan utvecklas och testas direkt på skrivbordet.

    Urvalt youtube innehåll om HP ZGX Nano G1N

    Tekniska fakta: HP ZGX Nano G1n AI Station

    Formfaktor: Mini

    Operativsystem: NVIDIA DGX OS 7 / Ubuntu 24.04

    Processor: NVIDIA GB10 Grace Blackwell Superchip

    CPU: 20 kärnor Arm (10 Cortex-X925 + 10 Cortex-A725)

    GPU-arkitektur: Blackwell

    AI-prestanda: Upp till 1000 TOPS

    Minne: 128 GB LPDDR5x enhetligt systemminne

    Minnebandbredd: 273 GB/s

    Lagring: 1–4 TB NVMe M.2 SSD

    Nätverk: 10GbE LAN, 2 x QSFP 200GbE

    Grafikutgång: HDMI 2.1a

    USB: 3 x USB-C 20 Gbps + 1 x USB-C ström

    Strömförsörjning: 240 W extern USB-C-adapter

    Mått: 5,1 × 15 × 15 cm

    Vikt: Från 1,25 kg

    Windows-stöd: Nej

    Annons

    Strul med e-posten? Hjälp med TV? Problem med wifi?
    Digital Fixare