lördag, februari 11, 2012

Forskningsskolan del 6 - mät efter före



Tänk att du ska se om illrar blir blöta om man häller vatten på dem. Du tar hundra randomiserade illrar och så häller du en hink vatten på var och en, med samma hällningsprocedur. Sedan mäter du om de är blöta, vilket de ju är. Kan du dra slutsatsen att illrar blir blöta om man häller vatten på dem? Nope. För du mätte inte före. De kanske var blöta till att börja med. Det vet du inte för du har inte mätt. Nu får du torka alla med fön och göra om göra rätt.

Fånigt exempel? Ja. Är det självklart att man ska mäta före också, så man vet att åtgärden har gett en förändring? Ja, det borde det ju vara. Men det görs inte alltid. Ibland för att man inte tänkte tillräckligt långt, och ibland för att man inte kunde.

Ett typiskt fall när man inte tänkte är att man har en organisation där man har implementerat en förändring. Turbo IT & Däck skickar till exempel hela personalstyrkan på teambuildinglekar en gång varannat år för att öka teamkänslan. Det uppskattas, folk gillar att klättra på hinderbana på arbetstid, och efteråt får de bli fulla. Teambuilding Entertainment tjänar pengar. Alla är nöjda. Sen kommer det oroliga tider, och nånting ska det skäras ner på. Någon föreslår lekarna och en diskussion utbryter - tycker inte Turbo IT &  Däcks glädjedödare att det är viktigt med teamkänsla på kontoret? Jomen, klart det är viktigt! Men har lekarna ökat den? Det vet man inte, för man har inte mätt teamkänslan före man började med lekar.

Fånigt exempel? Ja, men typ så går det ofta till. Man betalar skitmycket pengar, gör jättestora förändringar, skickar folk på kurs och organiserar om - och i slutändan går det inte att uttala sig om det gav resultat.

Ett typiskt fall där man inte kan mäta föra är när man ska se om någon sjukdom föregicks av vissa förändringar i kroppen. Man kan se att en viss typ av förändring är vanligare hos en grupp sjuka än hos en grupp friska, men är det en följd av sjukdomen eller gör den förändringen att man har lättare att insjukna? För att veta måste man slumpmässigt mäta jättemånga och sedan vänta länge. Rent praktiskt är det väldigt svårt.

Men om du ska göra A i avsikt att förändra B är det en bra idé att mäta B före och efter. Annars blir det ju svårt att jämföra.

Det här är ett inlägg i forskningsskolan.

3 kommentarer:

Anton sa...

En viktig sak som du inte tog upp(det kommer kanske i nästa forskningsskola?) är att spara 50 av illrarna och inte hälla vatten på dem. Annars kan man inte utesluta att illrar ibland spontant blir blöta.

Eller motsvarande, att en behandling ger bättre resultat än att folk ibland blir spontant friska.

Se wikipedia, som alltid: http://en.wikipedia.org/wiki/Control_group

Jo sa...

Anton:

"Annars kan man inte utesluta att illrar ibland spontant blir blöta."

Helt rätt. Klart man måste kontrollera för pilska, svettiga illrar. Om experimentledaren (doktorandillern) är tillräckligt sexig kan det bli massor av sånt.

Anonymus Maximus sa...

Ett annat exempel på detta problem är narkolepsin som drabbat en del barn efter influensavaccineringen.

Beror det på vaccinet?

Se: Läkemedelsverkets kommentar till kinesisk studie av risk för narkolepsi

"Studieresultaten motsäger inte slutsatsen från studier i Sverige att det finns ett samband mellan vaccination med Pandemrix och en ökad risk för narkolepsi hos barn och ungdomar, men pekar på möjligheten att H1N1 influensa skulle kunna vara en samverkande faktor"