AI-botarna är sämre än du tror

DELA

Låter du AI sammanfatta nyheter i ditt flöde? Då har du troligtvis fått felaktig information.Artificiell intelligens är bra på mycket och spelar redan nu stor roll i vår vardag.Men tekniken är långt ifrån fulländad.

Det blir allt vanligare att använda sig av AI-sammanfattningar av nyhetsläget, antingen via traditionella sökmotorer som Google eller direkt av AI-chatbotar som ChatGPT och Copilot.

Säkert har du också råkat ut för att någon runt fikabordet har sagt ”ska vi se vad AI har att säga om det här?”, för att sedan ge ett tvärsäkert svar baserat på chatbotens sammanfattning.

Men en stor granskning genomförd av 22 europeiska public service-bolag visar att AI fortfarande har svårt att sammanfatta och återge nyheter korrekt. Av över 3100 AI-nyhetssvar på 14 språk visade sig 45 procent innehålla felaktigheter eller sakna relevant sammanhang. Nästan hälften, alltså.

De två vanligaste bristerna är huruvida AI förhåller sig till fakta och om påståenden som görs i sammanfattningarna har täckning i källorna som anges. Sex av tio AI-svar fick inte godkänt i de här kategorierna. Det fanns också fall där summeringarna innehöll påhittade uppgifter, till och med påhittade citat eller att citat tillskrevs fel personer.

Störst problem har sammanfattningarna med nyheter som utvecklas i snabb takt (ett exempel som lyfts i rapporten är Trumps handelskrig) medan mindre komplexa saker (till exempel om Turkiet är med i EU) oftare blir rätt.

Sämst i klassen var Gemeni, följt av ChatGPT och Copilot. Bäst klarade sig Perplexity.

Det ska sägas att AI-modellerna har uppdaterats sedan granskningen gjordes men eftersom utvecklingen går så snabbt är det svårt att säga huruvida just de här bristerna har åtgärdats, i vilken utsträckning det har skett och om nya brister har tillkommit.

Och vill du bli av med sammanfattningarna så går det att göra i vissa program, till exempel webbläsaren Chrome.

Liknande brister har uppdagats också inom andra områden, inte bara nyhetssammanfattningar. Den brittiska tidningen The Guardian rapporterade i veckan att Google nu tar bort vissa av sina summeringar som rör hälsofrågor efter att felaktig information som därför kan anses äventyra människors hälsa har lags fram som fakta. Samma problematik syns också i The Guardians genomgång, i en del fall saknas kontext och AI har heller inte tagit höjd för andra hälsofaktorer som ålder och kön.

Det som ju blir riktigt förrädiskt är att skillnaden mellan mer gammaldags informationssökning (som att googla) är liten för användaren jämfört med de nya sammanfattningarna. Förr använde vi en sökmotor och fick en rad källor som antingen uppfattades som trovärdiga eller inte. Det var upp till oss själva att bedöma. Upplevelsen i dag är väldigt lik. Det kan vara samma sökmotor (ibland) som du är van vid, fast utan det besvärliga extra steget att själv klicka på länkar för att se om de innehåller informationen som efterfrågas.

Att AI-sammanfattningar innehåller länkar till källor är positivt, men troligtvis är det många som hoppar över just det steget för att det är praktiskt och bekvämt. Och eftersom den stora nyhetsstudien visar att källor som anges inte behöver ha någon relevans för själva innehållet i sammanfattningen blir det givetvis ännu viktigare att själv göra jobbet.

En annan risk som rapporten lyfter fram är att AI-svaren ofta har en säker ton i språket vilket gör människor mera benägna att tro på dem.

Chatbotarna och sökmotorsammanfattningarna är fortsättningsvis bra hjälpmedel.

Men man bör vara medveten om bristerna och därmed riskerna. Vill du vara säker på att informationen på din skärm stämmer så använd pålitliga källor. Eller var åtminstone medveten om att svaren du får av din självsäkra och snabba chatbot inte alltid stämmer.

Tack för att du väljer Nya Åland!

Kära läsare, stort tack för förtroendet och för att du använder Nya Åland och nyan.ax för att hålla dig uppdaterad. Vi jobbar för dig men god journalistik kostar, så nu behöver vi din hjälp.

Välj belopp