|
    Agency 42

    AI-plattformar på Kubernetes – GPU, MLOps och LLM i er egen miljö

    Vi bygger och driftar plattformen under er AI: Kubernetes-kluster med GPU-noder, MLOps och LLM:er i ert eget datacenter, i ett svenskt moln eller hybrid. AI i produktion är i grunden en plattformsfråga, och era data scientists ska kunna fokusera på modellerna, inte på infrastrukturen.

    Piloten fungerade. Demon imponerade på ledningsgruppen. Sedan kom frågorna: var körs modellen, vem kommer åt datan, vad händer när GPU-noden dör klockan tre en natt, och hur förklarar vi det här för revisorn?

    Där börjar vårt jobb. Vi är Sveriges go-to Kubernetes-specialister, och AI i produktion handlar om containrar, schemaläggning, nätverk, lagring, säkerhet och drift, fast med dyrare hårdvara och hungrigare arbetslaster.

    Har du en AI-pilot som behöver ett hem? Hör av dig, så pratar vi plattform.

    Vad vi hjälper till med

    GPU-kluster på Kubernetes

    GPU:er är dyra att köpa och ännu dyrare att låta stå still. Vi sätter upp Kubernetes-kluster med GPU-noder och köer och kvoter, så att flera team kan dela på samma kapacitet utan att slåss om den. Beroende på hårdvara kan plattformen till exempel innehålla NVIDIA GPU Operator och delning av GPU:er med MIG eller time-slicing. Det fungerar på RKE2 och Rancher, OpenShift eller den plattform ni redan har.

    MLOps – från notebook till produktion

    En modell som bara körs på en laptop är ett experiment. Vi bygger pipelines för träning, versionering och utrullning av modeller med samma GitOps-, CI/CD- och SBOM-tänk som vi använder för vanlig mjukvara: experimentspårning, modellservering, övervakning av både plattform och modell, och en tydlig väg tillbaka när en ny modellversion beter sig konstigt. Plattformen kan till exempel bygga på öppna verktyg som MLflow, KServe och vLLM, valda efter era behov.

    Suverän LLM-drift on-prem

    Alla organisationer kan inte skicka känsliga dokument till en publik AI-tjänst. Vi driftsätter öppna språkmodeller i er egen miljö, bakom er brandvägg och under svensk eller europeisk jurisdiktion. Det kan vara on-prem eller i ett svenskt moln. Ni får ett internt API med autentisering, behörigheter, loggning och kostnadskontroll. Plattformen kan också utformas för isolerade (airgappade) miljöer, med speglade images och modellvikter. Det är samma härdning och samma bevisföring som vi bygger för Kubernetes i reglerade miljöer i dag, applicerad på en ny typ av arbetslast.

    AI-agenter och automation i DevSecOps och drift – med människan i loopen

    AI-agenter kan granska pull requests, sammanfatta sårbarhetsrapporter, föreslå åtgärder för CVE:er, skriva första utkastet till en incidentrapport och hålla ordning på SBOM:er. Vi bygger in dem i er pipeline så att de gör grovjobbet och lämnar beslutet till en människa: agenten föreslår, en ingenjör godkänner. Allt loggas, och ingen agent får skrivrättigheter till produktion.

    AI-strategi och rådgivning

    Innan någon köper en enda GPU behöver man veta vad AI:n ska göra, vilka data den får röra och var den ska köras. Vi hjälper ledning och IT att reda ut användningsfall, välja mellan publika AI-tjänster, ett svenskt moln och egen drift, och räkna på kostnaden för hårdvara, drift och kompetens. Vi går också igenom kraven från AI-förordningen, NIS2 och GDPR. Resultatet är en plan som går att genomföra, inte en bildserie. Och ibland är rådet att inte bygga själv.

    AI i reglerade miljöer – NIS2, CRA och AI-förordningen

    En AI-plattform är ett IT-system som alla andra, och den omfattas av samma krav. För verksamheter under cybersäkerhetslagen gäller kraven på riskhantering, åtkomstkontroll, leveranskedja och incidenthantering även GPU-klustret. Bygger ni produkter med AI-komponenter kan CRA gälla dem, och EU:s AI-förordning (AI Act) ställer egna krav beroende på användningsområde och risknivå. Vi ser till att plattformen går att bevisa: vem kom åt vilken modell, vilken data användes, vilken version körs och vem godkände den. Läs mer om hur vi arbetar med compliance.

    Vår AI-hållning: AI ger tid, människor beslutar

    Vi använder AI varje dag, men på ett bestämt sätt. AI tar bort det tråkiga, repetitiva och tidskrävande så att ingenjörer får mer tid till det som kräver omdöme. Besluten fattas av människor: vad som rullas ut, vad som rapporteras och vad som är säkert nog. AI ersätter inte människor hos oss, och vi bygger inte system som gör det hos er heller.

    Så arbetar vi

    1. Samtal och nuläge: vilka modeller, vilka data, vilka krav och vilken hårdvara (eller vilken budget för hårdvara).
    2. Arkitektur: on-prem, svenskt moln eller hybrid. GPU-val, plattform (Rancher/RKE2, OpenShift eller befintlig), säkerhets- och regelkrav.
    3. Pilot på riktig plattform: ett användningsfall i drift på en plattform som är byggd för produktion, inte en demo på en laptop.
    4. Produktion och drift: GitOps, övervakning, patchning och livscykel. Vi kan drifta, eller lämna över till ert team med dokumentation.

    Passar bra / passar inte

    Passar bra om ni:

    • har eller planerar egna GPU:er och vill få ut något av dem,
    • har data som inte får lämna organisationen eller landet,
    • redan kör Kubernetes, eller vill göra det, och behöver plattformen klar för AI-arbetslaster,
    • behöver kunna visa en revisor hur AI-miljön styrs.

    Passar inte om ni:

    • vill ha en färdig chattbot för kundtjänsten imorgon (det finns bra produktbolag för det),
    • bara använder publika AI-API:er och inte behöver någon egen plattform.

    Vanliga frågor

    Behöver vi egna GPU:er för att köra en LLM on-prem?

    För de flesta språkmodeller i produktion, ja, eller GPU-kapacitet hos en svensk eller europeisk leverantör. Mindre modeller kan köras på mindre hårdvara. Vi hjälper till att räkna på vad ni faktiskt behöver innan ni köper något.

    Varför Kubernetes för AI?

    Samma skäl som för annan mjukvara: reproducerbarhet, skalning, självläkning och ett gemensamt sätt att drifta. Med GPU-stöd, köer och kvoter kan flera team dela dyr hårdvara på ett kontrollerat sätt. Kubernetes är inte alltid svaret. En enda modell på en server kan vara helt rätt, och då säger vi det.

    Kan ni köra AI i en isolerad (airgappad) miljö?

    En isolerad plattform kan utformas med speglade images, modellvikter och register inne i den isolerade miljön. Kubernetes-distributioner som RKE2 och OpenShift stöder installation utan internetanslutning.

    Ersätter AI-agenterna era ingenjörer, eller våra?

    Nej. Agenterna gör grovjobbet och föreslår. Människor granskar och beslutar. Så vill vi ha det.

    Vilka modeller kan ni drifta?

    Öppna modeller som går att köra lokalt, valda efter användningsfall, licens och hårdvara. Vilken modell som är bäst ändras ungefär varannan vecka. En bra plattform gör det enkelt att byta.

    Vill ni ge er AI ett riktigt hem?

    Berätta om er pilot, era data och era krav, så återkommer vi med ett förslag på plattform.

    Kontakta oss

    Relaterade tjänster

    Kubernetes

    Design, drift och optimering av K8s-kluster — multi-cloud och on-prem.

    Utforska →

    SUSE Rancher

    SUSE Rancher i drift: multikluster-hantering, RBAC, policyer och uppgraderingar för Kubernetes i reglerade miljöer.

    Utforska →

    Linux & OS-plattform

    SUSE och Red Hat i drift: härdning, patchning, livscykelhantering och automation för verksamhetskritiska system.

    Utforska →

    DevSecOps

    Automatisering, pipelines och "shift-left" säkerhet för snabbare, säkrare leveranser.

    Utforska →
    AI-plattformar

    Relaterat: Kubernetes-konsult · SUSE Rancher · Linux · DevSecOps · Kundcase · Artikel: AI-konsult för AI i drift: LLM, GPU och MLOps · Artikel: SUSE Rancher vs OpenShift