Exjobb på Decerno: David och Ingrid utvecklade ett ramverk för att utvärdera AI-genererad kod

AI förändrar snabbt hur mjukvara utvecklas. Men hur bedömer man egentligen kvaliteten på kod som genererats av AI? Det var frågan som David och Ingrid tog sig an under sitt examensarbete på Decerno.

Under våren har de arbetat nära MigrAIte-projektet och utvecklat ett ramverk för att utvärdera kvaliteten på AI-genererad kod – ett område som blir allt viktigare i takt med att AI får en större roll i systemutvecklingen.

Kan ni kort beskriva ert examensarbete?

– Vi har undersökt hur man kan utvärdera AI-genererad kod inom mjukvaruutveckling. Det finns många etablerade mått för att bedöma kvaliteten på kod som skrivits av människor, men det är fortfarande oklart hur väl de fungerar för kod som genereras av AI.

– Därför har vi utvecklat ett ramverk som kombinerar traditionella kvalitetsmått med nya perspektiv för att bättre fånga kvaliteten i AI-genererad kod.

Varför valde ni det här ämnet?

– Vi båda tycker att AI är ett väldigt spännande område och ville gärna göra vårt examensarbete inom det området. När vi kom i kontakt med Decerno och fick höra om möjligheten att arbeta med AI MigrAIte kändes det som en perfekt match.

– Samtidigt är det ett område som är väldigt aktuellt. När vi berättar om vårt examensarbete märker vi att många är intresserade av frågan. AI används mer och mer i utvecklingsarbetet, men det finns fortfarande många frågor kring hur man säkerställer kvaliteten i det som produceras.

Hur gick ni tillväga för att utveckla ramverket?

– Arbetet började med en omfattande litteraturstudie där vi kartlade vad forskningen säger om kodkvalitet, både inom traditionell mjukvaruutveckling och inom AI-genererad kod.

– Därefter genomförde vi intervjuer med utvecklare på Decerno för att förstå vilka kvalitetsaspekter som är viktiga i praktiken. Totalt genomförde vi nio individuella intervjuer samt en gruppdiskussion med ett utvecklingsteam.

– Kombinationen av forskning och erfarenheter från utvecklare gav oss en bra grund för att utforma ramverket.

Hur har det varit att arbeta med ett så öppet problemområde?

– Det har varit både utmanande och väldigt roligt. Frågeställningen var tydlig, men exakt hur problemet skulle lösas var upp till oss.

– Vi har haft många idéer längs vägen och upptäckt flera områden som hade varit intressanta att utforska vidare. Det svåra har ibland varit att prioritera och avgränsa arbetet för att hinna färdigt inom examensarbetets ramar.

– Samtidigt har det varit inspirerande att arbeta inom ett område som utvecklas så snabbt. I början funderade vi faktiskt på om någon skulle hinna lansera en färdig lösning innan vi var klara, men när vi nu avslutar arbetet känns resultaten fortfarande högst relevanta.

Vilka utmaningar har ni stött på?

– En stor utmaning har varit att sätta sig in i både nya tekniker och befintliga system. Vi har utvecklat en lösning som skulle integreras med MigrAIte-projektets befintliga pipeline, vilket innebar att vi behövde förstå en ganska omfattande kodbas och hur olika delar fungerade tillsammans.

– Det har också varit en utmaning att navigera i ett forskningsområde där det ännu inte finns några etablerade standarder eller färdiga lösningar att luta sig mot.

– Men just det har också gjort arbetet väldigt lärorikt.

Om ni hade haft några månader till – vad hade ni velat utforska vidare?

– Det finns många spännande spår att fortsätta med. Bland annat hade vi velat vidareutveckla analyser av kodduplicering och läsbarhet, som är områden där vi ser stor potential.

– Vi hade också velat undersöka hur flera AI-agenter kan samarbeta för att skapa mer konsekventa bedömningar av kodkvalitet.

– Dessutom ser vi möjligheter att använda det ramverk vi utvecklat i fler projekt än bara MigrAIte. Det skulle kunna vara värdefullt för fler utvecklingsteam som arbetar med AI-stödd utveckling.

Vad tar ni med er från examensarbetet?

– Framför allt erfarenheten av att arbeta med AI i en organisation som verkligen satsar på området.

– Vi har fått en inblick i hur AI används i praktiken, från enskilda utvecklare till större interna initiativ. Det har varit väldigt lärorikt att få vara en del av en miljö där det finns en nyfikenhet och vilja att utforska nya möjligheter.

– Vi tar också med oss en mycket större förståelse för hur man kan kombinera forskning och praktisk utveckling för att lösa verkliga problem.

Hur har det varit att göra examensarbete på Decerno?

– Det har varit en väldigt positiv upplevelse. Vi har fått stort eget ansvar samtidigt som vi alltid haft stöd när vi behövt det.

– Det har funnits en bra balans mellan självständighet och handledning, vilket gjort att vi kunnat utvecklas mycket under projektet.

– Vi har också uppskattat att få vara en del av verksamheten på riktigt. Vi har deltagit i projektmöten, samarbetat med utvecklare och fått följa arbetet i MigrAIte på nära håll.

– Det har faktiskt känts mer som att vara en del av ett utvecklingsteam än att genomföra ett traditionellt examensarbete. Vi har känt oss väldigt välkomnade och inkluderade, både på kontoren i Stockholm och Uppsala.

Stort tack till David och Ingrid för att ni delat med er av era erfarenheter. Vi önskar er stort lycka till i framtiden och ser fram emot att följa er fortsatta resa inom AI och systemutveckling!