Kvalifikasjonskriterier, KI og nye evalueringsformer

Kunnskapsdepartementet arbeider med ny forskrift som opprettholder den alternative karriereveien med stillingene 1.lektor og dosent, men formulerer den mer prinsipielt og med større lokal autonomi når det gjelder kriterier og deres konkretisering. Forskriften sendes på høring før eller like etter nyttår 2023/24 med uttalelser gjennom 1. kvartal 2024. Det vil ventelig gi inspirasjon til diskusjon om formål og format. Dosentforeningen kan spille en sentral rolle i å bidra til bredde og dybde i diskusjonene.

Oljefondets sjef Nicolai Tangen ser for seg at produktiviteten i kunnskapsyrkene vil økes med 20% i KI-maskinenes kjølvann. Det vil ikke skje uten betydelige endringer av kunnskapsarbeidets karakter og organisering på individ- og institusjonsnivå.

I et slikt perspektiv må det stilles spørsmål om hvor egnet de tradisjonelle eksamenssystemer er til å strukturere undervisning og forberede studenter for arbeidslivet. Vi må spørre:

  • Hva er det institusjonene trenger?
  • Hvordan kan den alternative karriereveien bidra til å møte slike behov?

Her er et innspill til det første av disse spørsmåla. Det tar utgangspunkt i at undervisning og fagdidaktikk ikke bare gjelder de enkelte emner og profesjons-utdanninger, men også struktureres av eksamens-formene og deres dypere rasjonale.


Samarbeidsdrevet og dataintensivt.

Utgangspunktet for det etterfølgende er derfor denne spissformuleringen:

  • Nye kompetansekrav blir bare overflatisk gjenspeilt – hvis i det hele tatt – i  konvensjonell eksamen.

Tradisjonelle akademiske eksamener legger vekt på reproduksjon og oppsummering av eksisterende kunnskapsbærende tekster, sammen med kritisk diskusjon. De opererer under forutsetningen av individuell innsats og evnen til å syntetisere og tolke informasjon. Det å reprodusere tekst—oppsummere, parafrasere og huske — er altså en nøkkel-funksjon.

Maskin-læringsalgoritmer som BERT (Bidirectional Encoder Representations from Transformers) og GPT (Generative Pre-trained Transformer) har vist bemerkelsesverdige evner i så måte. De kan kondensere store mengder informasjon til konsise oppsummeringer, trekke ut nøkkelpunkter og gi relevant kontekst. Det skjer ofte med bedre ytelse enn mennesker når det gjelder hastighet og nøyaktighet. KI-teknologi reduserer med det verdien av menneskelig innsats på dette området.

Fokus på tekstlig reproduksjon er overflødig og forbereder ikke studentene på de typer arbeidsoppgavet som er mindre utsatt for automatisering. Institusjoner kan med fordel utforske alternativer og bør vurdere nåværende praksis bl. a. med hensyn til:

  • Redundans: Å teste studenter på ferdigheter som enkelt kan automatiseres og som altså kan bli overflødige det KI-teknologier avanserer.
  • Manglende differensiering: Ettersom KI-algoritmer utvikles videre, minsker forskjellen i studentferdighet i tekstlig reproduksjon (under forutsetning av lik tilgang og opplæring).
  • Utvidet analytisk evne: Fokus på tekstlig reproduksjon begrenser eksponering for bredere kognitive og analytiske ferdigheter som er avgjørende for moderne kunnskapsarbeid.
  • Individuelt vs. samarbeid: Tradisjonelle eksamener er individualistisk orientert, mens KI-støttede oppgaver ofte innebærer teamarbeid. Spenningen oppstår når individuelle vurderingsmetoder ikke tilstrekkelig evaluerer samarbeidsferdigheter.
  • Statisk vs. dynamisk kunnskap: Tradisjonelle eksamener kan teste en statisk kunnskapsbase, mens KI-støttede oppgaver ofte krever et kontinuerlig oppdatert ferdighetssett.

Her er noen eksempler fra Center for Innovative Teaching and Learning, Indiana University [HTML] om det som der kalles autentisk evaluering.

De fleste av disse oppgavene kan leveres av eller hente omfattende støtte i KI-maskiner (eksempel). Stefanini Giannini er UNESCOs Assistant General-Director for Education. I en rapport om generativ KI og utdanningenes framtid skriver hun

Using improved computing power, synthetic neural networks, and large language modelling, AI technology is, if not cracking, at least feigning with remarkable dexterity the ‘linchpin’ of human civilization: language.

My formal academic training is in linguistics, so I have had ample opportunities to think about the structure, form, meaning, and power of language. Language matters. It is what distinguishes us from other animals. It is at the heart of identity and cultural diversity. It gives meaning to the world around us and inspires our actions. It is the basis of everything we do in education and in almost every other sphere of life. It lies at the root of love and of war. It can empower, and it can manipulate.

Until very recently, we had almost exclusive use and control of language. The fact that machines are now crossing so many language thresholds and so quickly should make us think and reflect. The processes that make these developments possible are important and deserve scrutiny, but their result is undeniable: machines can now simulate sophisticated conversation beyond narrow tasks.

What will the role of teachers with this technology in wide circulation? What will assessment look like now that AI utilities can perform very well on examinations that were, until very recently, widely considered un-hackable, such as tests to demonstrate mastery of specific subject areas, and exams to credential skilled professionals, including doctors, engineers, and lawyers?

En annen sosio-tekstlig grunnmodell.

Et prinsipielt utgangspunkt for å vurdere dette kan kanskje finnes i tekstsirkelen som illustrert her.

Den ser på tekstlige uttrykk i mange formater. De tilegnes, endres og reproduseres for ny tilegnelse der mye strykes medhårs og noe mothårs. Slik oppstår en utvidet reproduksjon.

Tekstenes påstands-innhold må testes mot verden der ute. Evaluering av studentenes studier må også knytte an mot det praktiske der ute siden maskinene og det globale tekst-repositoriet via Internett tar mer over av reproduksjonen.

Her kan man finne viktige, mange-dimensjonale og omfattende FoU-utfordringer for kvalifisering langs den alternative karrierestigen. I alternativ kvalifisering er det en forutsetning at man engasjerer seg i KI-støttet undervisningspraksis og begrunnede forsøk som kan evalueres og gi grunnlag for nye retningslinjer og oppskalering. Til dette hører også en kritiske evaluering basert på et slikt innenfrablikk.

Det krever nye ferdigheter i digitalisering så som (digital) kunnskapsorganisering og multimodalt faglig forfatterskap og formidling. Det gjelder også det akademiske entreprenørskap rundt nettverksbygging, utvikling og realisering av nye studieprogrammer samt prosjektdesign & ledelse. 

 

08.10.2023 Helge Høivik


Referanse
  • Crompton, H., Burke, D. Artificial intelligence in higher education: the state of the field. Int J Educ Technol High Educ 20, 22 (2023). https://doi.org/10.1186/s41239-023-00392-8 [HTML]