the new statistics

The New Statistics: Effect Sizes, Confidence Intervals, and Meta-Analysis

Sinds de publicatie van de zesde editie van de Publication Manual door de American Psychological Association (APA) in 2010 worden, naast de bestaande richtlijnen voor publicatie in een wetenschappelijk tijdschrift, ook enkele nieuwe eisen gesteld.

Een van die eisen betreft het vermelden van de zogeheten Effect Size (ES)Het volstaat niet meer of aan te geven of er sprake is van een statistisch significant resultaat, er dient nu ook iets gezegd te worden over de ‘praktische significantie’ (bijv. over de omvang van een gevonden verschil tussen twee steekproefgemiddelden). Het begrip ‘effect size’ verwijst niet naar een specifiek research design (zoals een experimentele onderzoeksopzet) maar moet gezien worden als aanvullende informatie bij het uitvoeren van een significantietoets. Het woord ‘effect’ moet dus ruim geïnterpreteerd te worden en kan op velerlei zaken betrekking hebben, zowel in de context van experimental studies als van observational studies. Ter verduidelijking volgt een citaat uit het boek van Geoff Cumming (2012).Understanding The New Statistics. New York/London:Routledge (pag. 34) :
“An effect is anything we might be interested in, and an effect size is simple the size of anything that may be of interest.”
Zo kan bijvoorbeeld ook voor het toetsen op significantie van een steekproefgemiddelde (one-sample t test) om vermelding van ES gevraagd worden, meestal in gestandaardiseerde vorm. De berekeningen worden wat lastiger wanneer de vraag gesteld wordt hoe het in de populatie gesteld is met ES (inductief redeneren). Daarvoor kan een (meestal 95%) betrouwbaarheidsinterval berekend worden om ES in de populatie te schatten. De betreffende t-verdeling (bijv. in het geval van een two-independent-samples-t-test) is echter niet-normaal verdeeld. Maar met behulp van o.a. het statistische softwarepakket R kunnen de waarden van de betreffende non-centrality-parameters vrij eenvoudig bepaald worden.
Ook met behulp van beschikbare software kan een effect size (en meestal ook een 95% betrouwbaarheidsinterval) voor onder meer de verschillende t-toetsen worden berekend (onafhankelijk, gepaard) maar ook voor ANOVA, voor correlaties en het verschil in correlaties, voor proporties en verschillen in proporties en voor gemiddelden (one-sample t-test) etc.
Voor ES-software kun je ESCI (Exploratory Software for Confidence Intervals) gebruiken, free software die te verkrijgen is via www.thenewstatistics.com.

Voorbeeld:
het bepalen van de effect size voor independent samples t-test
Effect size voor Independent samples t-test

In dit verband is het interessant om te vermelden dat 10 november 2016 de geplande verschijningsdatum is van het volgende boek:
Geoff Cumming. Introduction to the New Statistics. Estimation for Better Understanding (Taylor & Amp; Francis Ltd )