Vad är det viktigaste som företag behöver förstå om AI-förordningen?
– Att den inte reglerar all AI på samma sätt. Kraven utgår framför allt från vad AI-systemet används till och vilka konsekvenser användningen kan få. Samma underliggande teknik kan därför omfattas av helt olika krav beroende på sammanhanget.
En AI-lösning som hjälper en medarbetare att formulera en text innebär exempelvis normalt en helt annan risk än ett system som bedömer arbetssökande, påverkar vem som får ett lån eller används för att fatta beslut om människors tillgång till samhällsviktiga tjänster.
Det är därför inte tillräckligt att fråga om företaget använder AI. Man måste veta var AI används, i vilket syfte, vilka data som hanteras och om systemets resultat påverkar människor eller viktiga affärsbeslut.
Förordningen brukar beskrivas som en modell med fyra risknivåer. Vad innebär de?
– Det avgörande är inte vilken AI-teknik ett företag använder, utan vad den används till och vilka konsekvenser användningen kan få. Samma teknik kan innebära minimal risk i ett sammanhang och hög risk i ett annat. Ju större påverkan på människors rättigheter, säkerhet och livsvillkor, desto högre krav ställer AI-förordningen.
De fyra risknivåerna kan sammanfattas så här:
1. Minimal risk
Hit hör exempelvis spamfilter och AI i dataspel. För den typen av användning innehåller AI-förordningen normalt inga tvingande krav utöver annan lagstiftning som redan gäller.
2. Särskilda transparensrisker
Denna nivå omfattar bland annat chattbotar och vissa användningar av generativ AI. Användaren kan exempelvis behöva informeras om att den interagerar med AI, och visst AI-genererat eller manipulerat innehåll måste kunna identifieras eller märkas.
3. Hög risk
Det handlar om AI-system som kan få stor betydelse för människors rättigheter, möjligheter eller säkerhet, exempelvis inom rekrytering, utbildning, kreditbedömning och kritisk infrastruktur. Här ställs långtgående krav på bland annat riskhantering, dokumentation och mänsklig kontroll.
4. Oacceptabel risk
Den högsta risknivån omfattar AI-användning som är förbjuden inom EU, exempelvis vissa former av social poängsättning, manipulativ AI och känsloigenkänning på arbetsplatser och i skolor.
– Generativ AI tillhör alltså inte automatiskt en viss risknivå. En AI-tjänst som hjälper en medarbetare att formulera en text innebär normalt en helt annan risk än om samma teknik används för att bedöma arbetssökande eller påverka beslut om enskilda personer. Varje användningsområde måste därför bedömas för sig.
Vilka krav ställs på AI-system med hög risk?
– För högrisk-AI ställs långtgående krav på bland annat riskhantering, datakvalitet, dokumentation, loggning, mänsklig kontroll, noggrannhet och cybersäkerhet. Den som använder systemet måste också följa de instruktioner som gäller, övervaka användningen och säkerställa att ansvariga personer har rätt kompetens.
En central princip är att AI inte får bli en svart låda som självständigt fattar beslut med stora konsekvenser. Det måste finnas människor som förstår systemets roll, kan värdera resultatet och har mandat att ingripa.
Vilken förbjuden AI-användning behöver företag särskilt vara uppmärksamma på?
– Ett exempel är AI-baserad känsloigenkänning på arbetsplatser, som är förbjuden med begränsade undantag för medicinska ändamål eller säkerhet. Det handlar om AI-system som med hjälp av biometriska uppgifter, exempelvis ansiktsuttryck, röstläge eller kroppsspråk, försöker identifiera eller dra slutsatser om en persons känslor eller avsikter.
Förbudet är särskilt relevant för arbetsgivare som utvärderar nya digitala verktyg för rekrytering, övervakning eller analys av medarbetare. Funktioner som presenteras som stöd för effektivare rekrytering eller arbetsledning kan bygga på analys av ansiktsuttryck, röstläge eller beteenden. Att en funktion finns tillgänglig i en produkt innebär inte automatiskt att den får användas.
Vad behöver företag tänka på när de använder generativ AI?
– Det första är att skilja mellan godkända företagstjänster och öppna konsumenttjänster. Om medarbetare lägger in kunduppgifter, personuppgifter, affärshemligheter, källkod eller annat känsligt material i ett AI-verktyg kan informationen hamna utanför företagets kontroll.
Därför behövs tydliga riktlinjer för vilka verktyg som får användas, vilken information som får matas in och hur AI-genererat innehåll ska granskas innan det används.
Man behöver också komma ihåg att en språkmodell kan ge ett övertygande men felaktigt svar. AI kan vara ett mycket bra arbetsverktyg, men resultatet måste bedömas utifrån uppgiftens risk. Ett språkfel i en intern sammanfattning är en sak. Ett fel i en finansiell rapport, ett avtal eller ett beslutsunderlag är något helt annat.
Hur påverkar AI-förordningen affärssystem som SAP och Dynamics 365?
– AI är numera sällan ett separat AI-projekt, utan byggs nu in i allt fler affärsprocesser: ekonomi, inköp, försäljning, HR, kundservice, analys och planering. Det gör frågan särskilt viktig för verksamheter som använder plattformar som SAP eller Microsoft Dynamics 365.
Det räcker inte att bedöma en fristående AI-tjänst. Företaget måste också förstå vilka AI-funktioner som finns inbyggda i de system man redan använder, vilka som är aktiverade och vilka beslut eller rekommendationer de påverkar.
En AI-assistent som hjälper användaren att hitta information är normalt relativt okomplicerad. Men om AI börjar prioritera kandidater, rekommendera åtgärder som påverkar medarbetare eller automatiskt fatta verksamhetskritiska beslut förändras riskbilden. Klassificeringen måste därför göras utifrån den konkreta användningen, inte utifrån produktnamnet.
Vems ansvar är det här – IT:s eller Compliance?
– Det är ett gemensamt verksamhetsansvar. IT och informationssäkerhet behöver förstå tekniken, dataflödena och säkerhetsriskerna. Juridik, compliance och dataskydd behöver bedöma vilka regelverk som gäller och se till att kraven omsätts i praktiken. HR, ekonomi, försäljning och andra verksamhetsfunktioner måste kunna beskriva hur systemen används och vilka konsekvenser de kan få.
Ledningen behöver samtidigt besluta om företagets riskaptit – alltså vilka risker man är beredd att acceptera – samt fastställa ansvarsfördelning och övergripande styrning.
Om AI-frågan enbart placeras hos IT missar man verksamhetsperspektivet. Om den enbart placeras hos juridik eller compliance riskerar arbetet att bli ett regelefterlevnadsprojekt vid sidan av den faktiska användningen. Det behövs en modell där verksamhet, teknik, säkerhet, juridik och compliance arbetar tillsammans.
Vad bör företag göra nu?
Innan man kan skapa kontroll över AI behöver man ha kontroll över sin information. AI gör inte gamla problem med informationshantering mindre viktiga – tvärtom. När AI får tillgång till stora mängder verksamhetsdata blir det ännu viktigare att veta vilken information som är känslig och affärskritisk, var den finns, vem som har tillgång till den och hur den skyddas.
Företag behöver därför börja med några grundläggande frågor: Vilken information har vi? Var ligger den? Vem kommer åt den? Är den rätt klassificerad och skyddad? Och rensas information som inte längre ska finnas kvar?
Det skapar grunden för nästa steg: att kartlägga var AI används, vilken information AI-systemen får tillgång till och vilka risker användningen innebär.
Sedan kan man börja inventera. Många organisationer saknar fortfarande en samlad bild av vilka AI-lösningar som används, inklusive funktioner som finns inbyggda i befintliga system och så kallad skugg-AI som medarbetare börjat använda på eget initiativ.
Nästa steg är att beskriva användningsområdena och klassificera dem utifrån risk. Därefter går det att avgöra vilka kontroller, instruktioner och dokumentationskrav som behövs.
Mats Stegemann lyfter sex prioriterade åtgärder:
- Skaffa kontroll över informationen. Identifiera vilken information som är känslig och affärskritisk, var den finns, vem som har tillgång till den och hur den är klassificerad och skyddad.
- Kartlägg AI-användningen. Identifiera verktyg, inbyggda funktioner, leverantörer, data och användningsområden.
- Riskklassificera användningsfallen. Bedöm syfte, konsekvenser och vilka människor eller beslut som påverkas.
- Tydliggör ansvar och beslutsvägar. Bestäm vem som får godkänna nya AI-lösningar och vem som ansvarar för uppföljningen.
- Inför praktiska riktlinjer. Gör det tydligt vilka verktyg och data som får användas och när mänsklig granskning krävs.
- Säkerställ AI-kompetensen. Medarbetare behöver förstå både möjligheterna, begränsningarna och riskerna med de system de använder.
Finns det en risk att regleringen hämmar företagens AI-utveckling?
– Det finns en risk att företag blir så försiktiga att de avstår från värdeskapande användning. Men alternativet – att släppa fram AI utan kontroll – är betydligt mer riskfyllt. Bristande styrning kan leda till felaktiga beslut, informationsläckage, diskriminering och förlorat förtroende, även när användningen inte bryter direkt mot AI-förordningen.
Mats Stegemann menar att AI-styrning därför inte i första hand bör ses som en broms.
– Bra styrning gör det möjligt att skala AI på ett tryggare sätt. När företaget vet vilka data som får användas, vem som ansvarar för resultaten och hur riskerna ska hanteras blir det också lättare att gå från enstaka experiment till verklig verksamhetsnytta.
Vad är ditt viktigaste råd till företagsledningar?
– Vänta inte på att alla juridiska och tekniska detaljer ska vara färdigutredda. Börja med att skapa kontroll över din information och den egna användningen. Den största risken just nu är ofta inte att ett företag medvetet använder ett förbjudet AI-system, utan att ingen har överblick över sin information och vilka AI-funktioner som redan används och vilka beslut de påverkar.
AI-förordningen gör frågan mer brådskande, men behovet är egentligen större än så.
I grunden handlar det om förtroende. Kunder, medarbetare och partners måste kunna lita på att AI används säkert, transparent och med människor som tar ansvar för konsekvenserna.
