KU: Kunstig intelligens kan hjælpe med at fagfællebedømme forskeres arbejde

 "Jeg tror, der er et marked på verdensplan for fem computere."

Sådan sagde, i vores frie oversættelse, Thomas Watson, CEO og bestyrelsesformand for IBM, i 1943.

Det siger noget om hvor svært det er at forudsige, hvad der sker når helt nye teknologier bliver introduceret. Det skyldes ikke mindst at de, der udvikler teknologien, ofte gør det med bestemte formål for øje og ikke har fantasi til at forestille sig de myriader af anvendelser, deres teknologi kan have. 

Intet sted er dette mere sandt end på universiteterne. Både for så vidt angår den begrænsede fantasi ift. den fremtidige anvendelse af egne opdagelser og den uendelige fantasi i anvendelsen af andres.

Forskningen bliver transformeret

De mange tidligere indlæg i denne temaserie har kyndigt og overbevisende behandlet hvordan kunstig intelligens, ikke mindst i form af de store sprogmodeller, påvirker universiteternes kerneopgaver, uddannelse og forskning.

Det forhold, at vi ikke gentager disse fine pointer, skal ikke forlede læseren til at tro, at vi ikke (også) tænker at vores uddannelser, herunder undervisning og eksamination, kommer til at ændre sig.

Det gælder både defensivt: Hvordan vi skærmer os mod tvivlsom brug og decideret snyd? Og offensivt: Hvad man som nyuddannet kandidat inden for et hvilket som helst universitetsfag skal vide og kunne for at være kompetent på fremtidens – eller bare nutidens – arbejdsmarked? Eller for den sags skyld, hvilke potentialer og faldgruber disse teknologier indeholder for tilrettelæggelsen og pædagogikken i universitetsuddannelser.  

Vi synes dog at der i lyset af de tidligere indlæg, er efterladt mere plads til en diskussion af forskningen på universiteterne. Forskning er, på godt og ondt, ved at blive transformeret.

{{toplink}}

Overtager opgaver fra forskeren

Fremtiden vil både se storesprogmodeller (LLM) og AI som forskningsassistenter til mere trivielle opgaver, som hypotesegenererende ved at syntetisere eksisterende viden på tværs af videnskabelige artikler og datasæt. Og måske endda som egentlig problemløsende, eksempelvis ved brug af det netop annoncerede "Project Q*" fra OpenAI: En ny type såkaldt reinforcement learning, der kan løse problemer uden for eget træningsmateriale.

Samtidig er der også her bekymringer, både i forhold til store sprogmodeller som medforfattere (eller hovedforfattere), og over nye bølger af AI-genererede data, hvor det kan blive endog meget svært at afsløre videnskabelig uredelighed.

Der er imidlertid også stigende fokus på hvad AI og ChatGPT – på godt og ondt – kan gøre for og ved en række af de opgaver, udover forskningen selv, som er en del af forskergerningen. Eksempelvis skrivning af forskningsansøgninger om eksterne midler og, ikke mindst, fagfællesbedømmelser af forskellig art.

Der er allerede forskere som bruger ChatGPT til at hjælpe med dele af forskningsansøgninger – og skriver om det i 'Nature'. Og der er helt sikkert også folk der bruger ChatGPT til at skrive bedømmelser af tidsskriftartikler – der er i hvert fald flere der på sociale medier giver udtryk for, at de mener at have modtaget sådanne.

Og det gælder givetvis alle typer bedømmelser. Ikke bare til tidsskrifter, men også i forhold til ansættelser, anbefalinger og forskningsansøgninger (der jo, som nævnt ovenfor, måske allerede er skrevet med hjælp fra ChatGPT). 

Hjælp til fagfællebedømmelser

Det er vigtige sager. 'Peer review' er en helt central kvalitetssikring i forskning. Men det er også kun den mindst ringe, hvorfor store sprogmodeller også her giver anledning til både positive og negative fremtidsscenarier.

Der er store udfordringer med eksisterende peer review-processer ("Peer review is broken" lyder det ofte). Ikke mindst på grund af de store mængder artikler og ansøgninger, der skal bedømmes, samt det forhold at det er opgaver, man udfører for det videnskabelig samfund, og som sjældent er koordineret med arbejdsopgaver på eget universitet.

{{toplink}}

Det kan sagtens være at man, underlagt passende protokoller og principper, kan bruge store sprogmodeller til at bistå med fagfællebedømmelser. Ikke mindst de dele der er mere teknisk orienterede, dataanalyser, fakta-tjek med videre. 

Hvis man derigennem kan gøre det menneskelige element i processen mindre byrdefuldt, mens man sikrer at det fortsat er menneskelige ’checks and balances’ i de endelige beslutninger, kan resultatet, i hvert fald hos optimisterne, blive højere kvalitet i fagfællebedømmelser.

Samtidig, mener optimisterne, kan fornuftig brug af upartiske modeller (med de forbehold der er i forhold til træningsdata med videre) være med til at mindske nogle af de uhensigtsmæssigheder som eksisterende fagfællebedømmelser lider af. Herunder forskellige typer af bias.

Mister noget vigtigt

Der er lang vej endnu, og som Videnskabernes Selskab pegede på i deres bidrag til temaserien, skal vores – og alles – 'codes of conduct' opdateres og revideres løbende, efterhånden som teknologien bliver mere og mere avanceret.

Kunstig intelligens udgør altså for forskningen, som for vores uddannelser, både en betydelig mulighed og en trussel.

Som alt andet teknologi, stiller det skarpt på vores evne til at udsondre det indholdsmæssigt vigtige fra den suppe vi kalder kultur. Og genfremkalde en ny kultur hvori de vigtigste konstituerende elementer er bevaret, og de overflødige, ligegyldige processer afløst af teknologi. Og som alt andet teknologi er vi ikke i stand til fuldstændig at styre denne proces.

Vi må altså insistere på at være kritiske, bevidste og samtidig vide, at det i sidste ende bliver uperfekt. Vi mister noget vigtigt, men vi får noget andet. "Hvis du vil fordoble din succesrate, må du fordoble din fejlrate," som selvsamme Watson er tilskrevet. 

{{toplink}}

debat@altinget.dk