Oppgaveanalyse
Denne analysen tar for seg både eksemplene som ble gitt og medstudentvurderingene som ble gitt underveis i prosessen. Analysen forsøker å skille ut de beste oppgavene fra utvalget av lærer- og studentoppgaver. Disse "gode" besvarelsene blir deretter brukt i beregningen av den endelige karakteren.
Denne analysen fungerer best når det er laget læreroppgaver. Disse oppgavene kan fungere som mal for hvordan studentoppgavene skal bedømmes. Læreren trenger ikke gå inn i hvert eneste eksempel og innlevering, men for at analysen skal gi mening er det bedre å ha et antall vurderinger fra læreren enn snittet av studentvurderingene. Analysen blir derfor mer pålitelig hvis læreren har bedømt mange oppgaver.
Analysen utføres normalt flere ganger, hver gang med endrede valg. Analysen styres via tre valg øverst på siden.
- "Påvirkningen fra læreroppgaver" angir i avviksanalysenhvor stort avvik det er mellom en gitt lærers vurdering sammenlignet med studentenes vurderinger. Dersom læreren ønsker at deres vurdering skal dominere hvordan studentene vurderer sine medstudenters oppgaver, bør læreren være den med minst gjennomsnittlig avvik i avvikstabellen. Dersom læreren ikke er øverste navn på lista kan "Påvirkningen fra læreroppgaver" økes til læreren har lavest gjennomsnittlig avvik. Dette igjen impliserer at lærerens oppgaver der dominerende og at studenter som vurderer ganske likt med læreren vil bli listet opp i øverste del av avvikstabellen. Studentene som vises neders i tabellen vurderer på en slik måte at de ikke samsvarer med lærerens vurderinger. (Eller forsåvidt medstudentene i øverste del av tabellen). Jo flere oppgaver læreren har vurdert jo bedre er det - da en slipper å bruke dette valget for å tvinge læreren oppover i øverste del av avvikslista. Mer at dette valget IKKE påvirker vektingen som benyttes når endelig karakter skal beregnes. I den beregningen vil lærerens vurderinger ha samme vekt som studentvurderingene. Hvis f.eks. en studentinnlevering vurderes til 41% av læreren og 45% og 55% av mestudenter, vil den endelige karakteren bli (41% + 45% + 55%) / 3, som er 47%.
- "Vekting for oppgavevurdering" brukes i beregningen av den endelige karakteren. En enkel formel brukes for å beregne studentenes vurderingsevner. Den beregnes som proporsjonal med antall gode vurderinger i forhold til antallet vurderinger de hadde muligheten til å vurdere. Hvis f.eks. workshop-en ba dem om å utføre 3 eksempelvurderinger og 5 medstudentvurderinger og studenten utfører 7 av dem og en av dem blir utelatt på grunn av stort avvik (se under), vil deres vurderingevne karaktersettes slik: (7 - 1)/8, som er 75%. Den endelige karakteren for oppgaven er en vektet kombinasjon av vurderingsevnen og den karakteren de har fått på oppgaven (eller beste karakter dersom de har levert mer enn en gang).
Karakteren for innlevering vektes alltid med 1. Så hvis du setter dette valget til f.eks. 0,5 betyr det at to karakterer blir addert i forholdet 0,5:1 eller 33% av vurderingsevne og 66% til selve studentinnleveringen.
- "Utelatelsesprosent for oppgaver" bestemmer antall oppgaver som skal utelates når endelig karakter beregnes. Dette er et tall som kan bestemmes på to forskjellige måter.
- Gitt måten studentkarakterene beregnes på, vil studenter som utfører alt arbeid få full uttelling for det, dersom ingen oppgaver utelates. Dersom læreren ønsker å ha en mer gjennomsnittlig karakter kan dette valget settes til 30%, som resulterer i en gjennomsnittlig karakter på ca 70%. (Igjen hvis alle studentene har utført alle oppgavene de ble pålagt)
- Alternativt kan antall oppgaver som skal utelates bli satt slik at de resterende gode oppgavene gir en gjennomsnittlig avvik blir justert til en mer fornuftig verdi. Dette er prosenter gitt i fjerde kolonne i avvikstabellen. F.eks. kan det antas at alle studentoppgavene burde befinnes seg innenfor et 20% spenn. Da kan analysen gjentas flere ganger til en finner ut hvor mange oppgaver som skal utelates for å komme innenfor grenseverdiene en har bestemt seg for.
I tillegg til Avvikstabellen vil analysen liste opp alle karakterene og den endelige karakteren studentene får. Denne tabellen bør derfor sjekkes for å se om resultatene virker rimelige. Spesielt dersom mange oppgaver er utelatt, kan enkelte oppgaver være uten vurdering og studentens endelige karakter blir da altfor dårlig. Analysen bygger på det gitte antall innleveringer på toppen av siden og er siste stopp før karakterboka. Disse to tallene bør derfor være like. Dersom det er en eller flere oppgaver uten vurdering og læreren ikke ønsker å øke antall utelatelser, må disse oppgavene vurderes av læreren og analysen gjentas. Det er viktig at alle oppgavene er vurdert minst en gang i dette siste steget av analysen hvor endelig karakter beregnes.
Det skal være en balanse mellom antall oppgaver som er utelatt og den endelige karakteren. Jo flere utelatte oppgaver, jo dårligere kan endelig karakter bli. Likevel, dersom det er dårlige oppgaver IKKE utelates vil kanskje studentene klage over kvaliteten på vurderingen og beregningen av endelig karakter. (Dette er jo en workshop hvor studentene skal gjøre det stadig bedre og få kreditt for det.)
Antatt at det er nok vurderinger utført av læreren til at det dominerer analysen uten for mye overstyring, vil det være fornuftig å utelate noe mellom 15% og 30% av oppgavene.
Merk at denne analysen tar lang tid og medfører ventetid hver gang den kjøres.