Naturfaglig læsning er et stort projekt vedrørende naturfaglig læsning i de danske grundksoler. Projektet består af flere elementer, hvor Konsulenthuset MR Puck har stået for den første del, som var en spørgeskemaundersøgelse hos naturfagslærerne. Resultaterne kan ses på Nationalt videncenter for læsning projekthjemmeside.
I projektet har Konsulenthuset MR Puck været med til at fokusere og tydeliggøre spørgeskemaundersøgelsen i form af målgruppen i spørgeskemaet, repræsentativiteten i stikprøven, udviklingen af spørgeskemaet, databehandling og afrapportering af resultaterne.
Konsulthuset MR Puck fik indarbejdet at naturfagene er flere naturvidenskabelige fag, som varierer på tværs af skoletrinene, og ikke alle grundskoler har alle fagene. Nogle grundskoler har kun indskoling og mellemtrinet, hvor det kun er Natur/teknologi. For at imødekomme udfordringen blev der udtrukket en hovedstikprøve for skoler med udskoling, og så en tillægsudtrækning af skoler kun med indskoling og mellemtrin. Indenfor hver skole vil en lærer kunne undervise flere klasser og naturfag, hvilket kan gøre resultaterne mudret, hvor hvilke fag og klassetrin udtaler læreren sig for. For at få et mere præcist billede blev et referencefag og referenceklasse udvalgt for læreren, som læreren skulle basere sin besvarelse på. Alle besvarelser blev vægtet, for at tage højde for forskellige udtrækningssandsynligheder. Udtrækningen og vægtningen gjorde spørgeskemaundersøgelsens resultater repræsentative.
Projektet blev foretaget med projektleder Jesper Bremholm, Bettina Buch og Martin Sillasen.
KiDM var et storstilet RCT forsøg omkring undersøgende undervisning i dansk for 7.-8. klasse og matematik i 4.-5. klasse. KiDM bestod af en pilotrunde, og derefter tre runder med forsøget, hvor der var en indsats og kontrolgruppe. Grundet det didaktiske design med teamsamarbejde af undervisningen måtte det være hele skoler, der var indsats- og kontrol-skoler i projektet. Da skolerne er organiseret i forskellige stil i mellemtrinet og udskolingen er det forskellige stikprøver i de to grene af projektet.
Min rolle var oprindelig i hensigten at jeg skulle stå for validering af de udviklet test og statistiske beregninger af RCT forsøget, og se om de udviklet forløb om undersøgende undervisning har en statistisk signifikant bedre effekt end ellers. Siden statistiske beregninger er i toppen af korthuset, og er afhængig af et ordentligt grundlag og dataindsamling, har jeg stået for stikprøverne til RCT forsøget samt indsamlingen af kvantitativt data i form af test og spørgeskemaer. I et RCT forsøg er der en før- og efter-måling som kræver test, og for at undgå en gentestningseffekt, blev testhæfterne roteret, således ingen har besvaret de samme test før og efter forsøget. For at validerere testene var der overlap i opgaverne imellem testhæfterne og testopgaverne blev valideret med Item Respons Theory og Rasch analyser, foretaget i RUMM2030. Jeg har sammen med didaktikere udviklet testene fra udvikling til validering, således at testene stadigvæk havde relevans. KiDM projektet var et samarbejde imellem flere parter, og jeg var med til at skabe designet for datasamarbejdsaftalerne og designet for dataadgang imellem parterne, således det var i overensstemmelse med GDPR lovgivningen.
Læringen af KiDM: Hvordan laver man et effektiv RCT forsøg. Testudvikling og validering af test. Dataindsamling i en kompleks sammenhæng med flere spørgeskemaer per elev ad flere omgange. Dataaftaler i henhold til GDPR lovgivningen når der er flere parter. Opsætning af testitems i SurveyXact.
Greb til læselyst projektet bestod af kvantitativt og kvalitativt funderet undersøgelser af børns læsevaner foretaget for tænketanken fremtidens biblioteker: https://www.fremtidensbiblioteker.dk/greb-til-lselyst
Min rolle i Greb til læselyst var at skabe et stikprøvedesign, som var repræsentativ, således man kunne udtale sig om børn i alderen 9-13 års fritidslæsning. Stikprøven blev lavet ved at udtrække skoler i Danmark da børnene går i skole, og på den måde kommer man nemmest i kontakt med dem. Stikprøven blev udtrukket som en straficeret klyngeudvælgelse, således stikprøve var repræsentativ på landsplan. Efter konstruktion af stikprøven har jeg stået for at få skolerne til at deltage i undersøgelsen, både i kontakt med skolerne og lærerne, i forbindelse med besvarelsen af spørgeskemaet. Spørgeskemaet blev udviklet med UCL's læseeksperter med inspiration fra PIRLS undersøgelsen. Den avanceret stikprøve gjorde at data skulle vægtes, således data var repræsentativ for populationen.
Læringen af Greb til læselyst: Hvordan man skaber en repræsentativ stikprøve med vægte. Hvordan man projektplanlægger og projektkoordinerer effektivt, således projektet når i mål.
Digital projektdidaktik var et projekt blandt privat- og friskoler, hvor blev skabt en type af undervisning, som skulle afprøves. Projektet indeholdte kun 8 skoler, og løb over halvandet år, hvilket betød over to skoleår. Data blev indsamlet i starten af projektet og i slutningen af projektet, og bestod af et lærerspørgeskema og struktureret undervisningsobservationer.
Min rolle i projektet var at lave beregninger på allerede indsamlet data. Det vil sige jeg ingen påvirkning havde på dataindsamlingen, hverken hvornår og hvad. Dermed måtte der laves de ting, som der kunne laves. Ud fra disse data blev resultater skabt, som kunne muliggøre at man kunne sige noget om projektets påvirkning. Dog var der ingen kontrolgruppe, hvilke besværliggjorde en del i henhold til projektets mulige konklusioner.
Læringen af Digipro projektet: Hvad man kan lave med data af begrænset kvalitet. Hvordan man ikke skal organisere dataindsamlingen og projekter. Hvordan struktureret observationer kan laves og rapporteres kvantitativt. Vigtigheden af at have en kontrolgruppe til ens projekt.
Efterskoleprojektet er et projekt i flere led. En kvalitativ-baseret undersøgelse med et udsnit af få skoler, og en kvantitativ undersøgelse med en stikprøve på tværs af efterskolerne. Efterskoleprojektet blev lavet i samarbejdet med efterskoleforeningen.
Min rolle i efterskoleprojektet var i den kvalitative del af finde relevante efterskoler af forskellige slags ud fra en egen konstrueret skoledatabase. I den kvantitative del var min rolle at skabe en stikprøve fra efterskolens medlemskatotek til en repræsentativ undersøgelse, hvorfra man vil undersøge fund fra den kvalitative del i et større sigt. Besvarelsen af stikprøven var skæv, da der var en større andel af kvinder der havde besvaret stikprøve end der burde, hvis det var tilfældigt frafald, målt ud fra efterskolens medlemskatotek. Her blev respondenterne vægtet relativt, således stikprøve var som i populationen. Jeg foretog den vægtning og lavet beregninger med vægte fra spørgeskemaet.
Læringen af Efterskoleprojektet: Udtrækning af stikprøve ved tilfældig udtrækning, og udvælgelse af skoler til kvalitative studier. Korrektion af skæve besvarelsesprocenter. Test af sammenhænge for tilfældigheder.
Learning Analytics projektet som undersøgte adfærd på et Learning Management System (LMS), hvor forskere lavede interventioner i en iterativ proces, hvor adfærden på LMS'en skulle følge læringsdesignet, som forskeren fremkom med.
Min rolle i learning analytics projektet bestod af to ting: 1 at få data fra en ekstern partner, der skulle udtrække dataet som projektet skulle analysere. 2 at udvikle en måde hvor på data kunne analyseres. Data fra LMS'en er anderledes i den forstand at hver observation er afhængige af den forrige observation. Dermed vil den sædvanlige tilgang til data ikke kunne bruges her. Den nemmeste måde var at analysere data grafisk, hvor personers adfærd kunne analyseres for sig selv. Både i henhold til de brugte ressourcer, aktivitetstiden, hyppigheden af brugen af ressourcerne, og i sammenholdt med andre personer og grupper. Dermed vil man kunne se hvad der sker, hvis ressourcer ændres på anden vis.
Læringen af Learning analytics projektet: Forstå didaktiske overvejelser og få de rette data til det. Translatør imellem didaktikere og programmører. Udvikling af metode til analysering af adfærd på LMS.
Demonstrationsskoleprojekterne dækker over en række af 5 projekter, hvor 4 af dem har været i berøring kvantitative metoder på forskellig vis. Hver af de 5 projekter havde sine interventionsplan med deres egne udvalgte skoler. Fælles for 4 af projekterne er at de har haft en test indenfor 21st century skills, som var udviklet til projektet, samt de har haft et spørgeskema til lærerne. Ligeledes har der været udført struktureret undervisningsobservationer, samt indsamlet elevprodukter på skolerne i det ene projekt.
Min rolle i Demonstrationsskoleprojekterne var at validere testen, som havde multiple dimensioner i sig, hvor enkelte items i testhæftet undersøgte forskellige elementer af 21st century skills, samt lave analyser af forskellige art efter forespørgsel fra projektets deltagere. Testvalideringen er foregået i ConQuest, som har en mulighed for at analyser flere dimensioner i Rasch analyser. I forbindelse med størrelsen af demonstrationsskoleprojekterne har jeg haft studentermedhjælpere til at hjælpe mig med analyserne af klassisk karakter, såsom fordelinger fra spørgeskemaer, mulige regressioner, samt logistiske regressioner af elevprodukterne. Resultaterne blev formidlet i samarbejde imellem studentermedhjælperne og mig til didaktikerne i projektet, som kunne arbejde med det.
Læringen af demonstrationsskoleprojekterne: Validere test med multiple dimensioner. Koordinering, tydeliggørelse og uddelegering af arbejdsopgaver. Formidling af resultater til projektmedarbejdere. Konkretisering af didaktiske tanker til statistiske analyser.
I samarbejde med professor Jeppe Bundsgaard, DPU, igangsatte jeg i foråret 2016 en undersøgelse om danske læreres holdninger, brug og viden om nationale test. Det skete på baggrund af debatten omkring nationale test og en vurdering af det grundlag som ministeriet byggede deres argumentation på. Efter igangsættelsen af undersøgelsen blev vi kontaktet af en, der gerne vil undersøge skoleledernes holdning til nationale test. Her blev undersøgelsen udvidet med den dimension hvor det så både er skolens lærere og ledere der deltog i undersøgelsen.
Min rolle i projektet var at udtrække en stikprøve og kontakte skoler til undersøgelsen. Dernæst var min rolle en koordinerende rolle, således data var klar til at blive analyseret til det aftalte tidspunkt. Det indebærer indsamling af data, og vægtning af data efter stikprøveudtrækningen, samt beregninger af resultater fra dataindsamlingen.
Læring fra projektet: Hvordan man laver en stikprøve og effektiv indsamling af spørgeskemaundersøgelse, samt hvordan kan man udvide undersøgelsen til at indeholde flere målgrupper. Klargørelse og koordinering af en undersøgelse, fra udgangspunkt til slutprodukt.
Projektet var skabt af Laura Louise Sarauw for at undersøge hvordan studerende så på fremdriftsreformen. Undersøgelsen var skabt sammen med relevante fagforeninger, DM, DJØF, og IDA, og data var indsamlet da jeg kom ind over undersøgelsen. Inden da var data indsamlet blandt fagforeningernes studentermedlemmer, og hver fagforening havde deres indsamlingsmetoder og redskab, samt hver fagforening havde fået lov til at tilføje egne spørgsmål.
Min rolle i projektet var to delt. Først som ekstern sparringspartner til projektets deltagere og deres studerentermedhjælper, der lavede de statistiske beregninger, og dernæst som ekstern sparringspartner der ensrettet deres datasæt, således det kunne bruges mere effektivt. Den anden eksterne del bestod i at ensrettet variablenavne, svarkoder, mv, således datasættet blev så ens-artet som muligt og der kunne laves beregninger på tværs af datasættene. Det var blandt andet undersøgelser af om der kunne skabes indeks på baggrund af spørgsmålene.
Læringen fra projektet: Vigtigheden af sparring inden projektet går igang. Hvad betydningen af ensartet opsætning er. Vigtigheden af at tage dine respondenter seriøst.
Projektet blev udbudt af Uddannelse- og Forskningsministeriet, hvor et konsordium af professionshøjskoler og universiteter fik projektet. Projektet var fler-delt i form af en kvantitativ baseret spørgeskema undersøgelse, en kvalitativt baseret interviews, og en gennemgang af it-mæssig support fra institutionerne. Projektet knyttede sig til de pågældendes partners institutioner, således det kun var et stort udsnit af de studerende i Danmark, der deltog. Udfordringen blev således hver institution havde fået lov til at lave institutionsspecifikke spørgsmål angående deres praksis under Covid 19-nedlukningen, hvilket førte til forskellige spørgeskemaer til hver institution med fællesspørgsmål. Indsamlingen af spørgeskema data foregik centralt efter Covid 19-nedlukningen foråret 2020 og tæt på sommerferien, og for at få besvarelser ind blev de studerende først inviteret via E-boks, og siden deres studiemails. Data blev beriget hos Danmarks statistik for at kunne korrigere skævheder, hvilket kunne gøres da cpr numre var brugt til at udsende invitationer til E-boks.
Min rolle i projektet var at opsætte spørgeskemaerne ens og effektivt op, ud fra de ønsker som de enkelte institutioner havde. Dernæst stod jeg for udsendningen af invitationer til E-boks og studiemails. Med flere partnere i projekter, som levere data ind centralt, måtte der en del datarensning til, da de ønskede data ikke var enssvarende, grundet forskellige datasystemer og misopfattelser, selvom der var udsendt en vejledning til dem omkring data skulle have været. Dataretningen og databeregning foregik på Danmarks Statistiks (DST) servere, hvor data var beriget med registerdata.
Læring fra projektet: Effektiv opsætning af spørgeskemaer, hvori der optræder variationer, under tidspres. Udsendning til E-boks. Udsendning af spørgeskemaer til tusindvis af studiemails. Estimation af tidsforbrug af udsendelse af mange mails. Databearbejdning og databeregninger på DSTs servere. Alternative tilgange til undersøge fænomener.
Der har været flere projekter omhandlede udvikling af viden og overvejelser omkring mad. Disse projekter har alle drejet sig om den samme tilgang, hvor undervisning er udviklet og et interventionsprogram er sat i værk. Interventionen har været på skolebasis, hvor der har været indførelse af en kantine med forskellige principper, blandt andet med at følge maden i sæsoner. Evalueringen har typisk været baseret på egen rapporteret holdninger og ændret dagligdag. Data var kun indsamlet på skoler, hvor der var sket en intervention.
Min rolle i projektet var at databehandle og beregne data. Dette indebærer at forholde sig til viden om grøntsager og frugt, hvilket kunne være sæsonbetonet. Dermed vil indsamlingstidspunktet for data kunne variere med sæsonen. Yderligere bestod projektet af hvordan man kunne skabe et effektiv paneldata, når data indsamlet udenom emails med unikke brugernavne.
Læringen fra projektet: Hvordan man undersøger projekter afhængig af tidspunktet for undersøgelsen. Hvordan man laver et bedre spørgeskema og dataindsamling. Sikre en koblingen imellem indsamlingsrunder. Afrapportering af data angående madvaner og viden om mad.
Læreruddannelserne på de danske professionshøjskoler udbyder profillinjer inden for naturfag, hvor personer vil kunne fordybe sig i naturfagene. Tanken med profillinjerne var at tiltrække en anden type studerende end tidligere, og tanken med projektet var at evaluere om dette var opnået, samt hvad kunne man lære af de forskellige profillinjer på de enkelte professionshøjskoler. Evalueringen var baseret på en referencegruppe, som er matematiklærerstuderende.
Min rolle i projektet var at lave denne sammenligning imellem naturfagsstuderende og matematiklærerstuderende på de professionshøjskoler, der udbød naturfagprofillinjer på daværende tidspunkt. Dette blev lavet på registerdata omkring de studerendes optagelsesbaggrunde baseret på ungdomsuddannelse. Med et kendskab til uddannelsessektoren og viden om uddannelse blev karaktergennemsnittet kaseret, og istedet blev der set på de studerendes faglige niveauer fra ungdomsuddannelser inden for de naturfaglige felter.
Læringen fra evaluering af naturfaglige profillinjer: Styrken ved sammenlignelige grupper. Hvordan man skal analysere studerende på baggrund af deres ungdomsuddannelser. Test for tilfældigheder i fordelingerne af faglige niveauer. Både på tværs af personer, og faglige niveauer indenfor personer.
Legoprojektet er en evaluering af et eftervidereuddannelsesforløb på UCL Erhvervsakademi og Professionshøjskole inden for Leg, Kreativitet og Læring, som Legofonden har finansieret for pædagoger i Billund kommune og udvalgte pædagoger i Esbjerg kommune. Evalueringen var både af kvantitativt art og kvalitativt art, hvor den kvantitative art var spørgeskemaer før eftervidereuddannelsen og tre måneder efter uddannelsen var afsluttet.
Min rolle i projektet startede på sidelinjen som hjælper med at sætte spørgeskemaet op og indsamle data. Siden hen blev min rolle at færdig indsamle data, og behandle og beregne dem. Dog blev projektet ramt af Corona nedlukningen i foråret 2020, hvilket forsinket dataindsamlingen og dermed projektets afslutning. Min rolle var at levere beregnet resultater til forskere, der kunne levere teksten omkring resultatet af evalueringen.
Læringen fra legoprojektet: Vigtigheden af at have en klar backup plan ved udefrakommende begivenheder. Vigtigheden af at have en armslængde imellem evaluator og udbyder af projektet. At det er nemmere at være med i projektet når man er med fra start.
Et gennemgående element for en der arbejder med kvantitativ data, er at der skal foretages beregninger på andre folks registerer i deres forskellige projekter. Det vil sige mange små opgaver hvor man er kort inde i projektet og levere beregninger på diverse ønsker. Det vil typisk være at samarbejdspartnerne har analyseret fænomener, såsom læremidler, hvor de har registereret forskellige karakteriska. Samarbejdspartnerne vil således have en analyse om forskellige karakteriska hænger sammen i registreret empiriske data.
Min rolle i projekterne er lille i form af være kortvarig inde i projektet og levere beregninger på de ønsker, som samarbejdspartnerne ville have. Rollen kan variere lidt i form af om der skal leveres forslag til analyser eller analyserne er fastlagt på forhånd, og i hvilken kvalitet data er leveret i. Typisk er der en del databehandling, før at data kan bruges til beregninger, da der ikke er lavet en ensartet registrering af data.
Læring fra projekterne: Hurtig forståelse af ønsker og analyse af disse ønsker. Vigtigheden af et tilgængelig datasæt, og hvordan det nemt skabes i form af scoring af empirisk data.
Copyright © Alle rettigheder forbeholdes