Für acht dieser Bedrohungen gibt es den ersten Buchstaben mnemonic dieses CHAOS, die auf die ersten Buchstaben der Prüfung bezieht (wiederholte Tests), Geschichte, Instrumentenwechsel, Statistische Regression in Richtung auf den Mittelwert, Reifung, experimentelle Mortalität, Auswahl und Auswahl Interaktion.
Mehrdeutige zeitliche Vorgabeedit
Wenn nicht bekannt ist, welche Variable sich zuerst geändert hat, kann es schwierig sein festzustellen, welche Variable die Ursache und welche die Wirkung ist.,
ConfoundingEdit
Eine große Bedrohung für die Gültigkeit kausaler Schlussfolgerungen ist confounded: Änderungen in der abhängigen Variablen können eher auf Variationen in einer dritten Variablen zurückgeführt werden, die mit der manipulierten Variablen zusammenhängt. Wo falsche Beziehungen nicht ausgeschlossen werden können, können rivalisierende Hypothesen zur ursprünglichen Kausalinferenz entwickelt werden.
Auswahlbiasedit
Auswahlbias bezieht sich auf das Problem, dass bei Pre-Test Unterschiede zwischen Gruppen existieren, die mit der unabhängigen Variablen interagieren und somit für das beobachtete Ergebnis „verantwortlich“ sein können., Forscher und Teilnehmer bringen eine Vielzahl von Eigenschaften in das Experiment, von denen einige gelernt und andere inhärent sind. Zum Beispiel Geschlecht, Gewicht, Haare, Augen und Hautfarbe, Persönlichkeit, geistige Fähigkeiten und körperliche Fähigkeiten, aber auch Einstellungen wie Motivation oder Bereitschaft zur Teilnahme.
Wenn während des Auswahlschrittes der Studie eine ungleiche Anzahl von Testpersonen ähnliche subjektbezogene Variablen aufweist, besteht eine Gefahr für die interne Validität. Zum Beispiel hat ein Forscher zwei Testgruppen erstellt, die experimentelle und die Kontrollgruppen., Die Probanden in beiden Gruppen nicht gleichermaßen im Hinblick auf die unabhängige variable, die aber ähnlich wie in einem oder mehreren der Subjekt-bezogenen Variablen.
Die Selbstauswahl wirkt sich auch negativ auf die Interpretationskraft der abhängigen Variablen aus. Dies tritt häufig bei Online-Umfragen auf, bei denen sich Personen mit spezifischer Demografie mit höheren Raten als andere demografische Personen für den Test entscheiden.
HistoryEdit
Ereignisse außerhalb der Studie / des Experiments oder zwischen wiederholten Messungen der abhängigen Variablen können die Reaktionen der Teilnehmer auf experimentelle Verfahren beeinflussen., Oft sind dies Großereignisse (Naturkatastrophen, politische Veränderungen usw.), die Auswirkungen auf die Teilnehmer‘ Einstellungen und Verhaltensweisen, so dass es unmöglich wird, zu bestimmen, ob die Veränderung auf die abhängige Maßnahmen ist aufgrund der unabhängigen Variablen, oder das historische Ereignis.
MaturationEdit
Die Probanden wechseln im Verlauf des Experiments oder sogar zwischen den Messungen. Zum Beispiel können kleine Kinder reifen und ihre Konzentrationsfähigkeit kann sich ändern, wenn sie erwachsen werden., Sowohl permanente Veränderungen wie körperliches Wachstum als auch vorübergehende wie Müdigkeit bieten „natürliche“ alternative Erklärungen; Daher können sie die Art und Weise ändern, wie ein Subjekt auf die unabhängige Variable reagieren würde. Nach Abschluss der Studie kann der Forscher möglicherweise nicht feststellen, ob die Ursache der Diskrepanz auf die Zeit oder die unabhängige Variable zurückzuführen ist.
Wiederholtes Testen (auch als Testeffekte bezeichnet)Bearbeiten
Wiederholtes Messen der Teilnehmer kann zu Verzerrungen führen. Die Teilnehmer können sich an die richtigen Antworten erinnern oder konditioniert sein, um zu wissen, dass sie getestet werden., Die wiederholte Einnahme von (denselben oder ähnlichen) Intelligenztests führt normalerweise zu Punktgewinnen, aber anstatt zu dem Schluss zu kommen, dass sich die zugrunde liegenden Fähigkeiten endgültig geändert haben, bietet diese Bedrohung der internen Gültigkeit eine gute rivalisierende Hypothese.
Instrumentenwechsel (Instrumentalität)Bearbeiten
Das während des Testprozesses verwendete Instrument kann das Experiment ändern. Dies bezieht sich auch darauf, dass Beobachter konzentrierter oder grundiert sind oder die Kriterien, nach denen sie urteilen, unbewusst geändert haben. Dies kann auch ein Problem bei Selbstberichtsmaßnahmen sein, die zu verschiedenen Zeiten durchgeführt werden., In diesem Fall können die Auswirkungen durch retrospektives Pretesting gemildert werden. Wenn Änderungen an der Instrumentierung auftreten, wird die interne Gültigkeit der Hauptschlussfolgerung beeinträchtigt, da alternative Erklärungen leicht verfügbar sind.
Regression zum Mittelwert
Diese Art von Fehler tritt auf, wenn Probanden während eines Tests auf der Grundlage von Extremwerten (eine weit vom Mittelwert entfernt) ausgewählt werden., Wenn beispielsweise Kinder mit den schlechtesten Lesewerten ausgewählt werden, um an einem Lesekurs teilzunehmen, können Verbesserungen am Ende des Kurses auf eine Regression in Richtung des Mittelwerts und nicht auf die Wirksamkeit des Kurses zurückzuführen sein. Wenn die Kinder vor Beginn des Kurses erneut getestet worden wären, hätten sie wahrscheinlich sowieso bessere Ergebnisse erzielt.Ebenso werden extreme Ausreißer bei einzelnen Scores eher in einem Testfall erfasst, werden sich aber wahrscheinlich bei wiederholten Tests zu einer normaleren Verteilung entwickeln.,
Mortality / differential attritionEdit
Dieser Fehler tritt auf, wenn Schlüsse nur auf der Grundlage der Teilnehmer gemacht werden, die von Anfang bis Ende teilgenommen haben. Möglicherweise haben die Teilnehmer die Studie jedoch vor Abschluss und möglicherweise sogar aufgrund des Studiums oder Programms oder Experiments selbst abgebrochen. Beispielsweise wurde festgestellt, dass der Prozentsatz der Gruppenmitglieder, die nach dem Test mit dem Rauchen aufgehört hatten, in einer Gruppe, die ein Trainingsprogramm zum Aufhören des Rauchens erhalten hatte, viel höher war als in der Kontrollgruppe., In der Versuchsgruppe haben jedoch nur 60% das Programm abgeschlossen. Wenn dieser Abrieb systematisch mit einem Merkmal der Studie, der Verwaltung der unabhängigen Variablen und der Instrumentierung zusammenhängt oder wenn das Ausfallen zu relevanten Verzerrungen zwischen Gruppen führt, ist eine ganze Klasse alternativer Erklärungen möglich, die die beobachteten Unterschiede berücksichtigen.
Auswahl-Reifung interaktionEdit
Dies tritt auf,wenn die themenbezogenen Variablen, Haarfarbe, Hautfarbe usw., und die zeitbezogenen Variablen, Alter,physikalische Größe, etc., interagieren., Wenn zwischen den Tests eine Diskrepanz zwischen den beiden Gruppen auftritt, kann die Diskrepanz auf die Altersunterschiede in den Alterskategorien zurückzuführen sein.
DiffusionEdit
Wenn sich die Behandlungseffekte von Behandlungsgruppen auf Kontrollgruppen ausbreiten, kann ein Mangel an Unterschieden zwischen experimentellen und Kontrollgruppen beobachtet werden. Dies bedeutet jedoch nicht, dass die unabhängige Variable keine Wirkung hat oder dass keine Beziehung zwischen abhängigen und unabhängigen Variablen besteht.,
Kompensatorische Rivalität / ärgerliche DEMORALISIERUNGEDIT
Das Verhalten in den Kontrollgruppen kann sich als Ergebnis der Studie ändern. Zum Beispiel können Kontrollgruppenmitglieder besonders hart arbeiten, um zu sehen, dass die erwartete Überlegenheit der Versuchsgruppe nicht nachgewiesen wird. Dies bedeutet wiederum nicht, dass die unabhängige Variable keine Wirkung hat oder dass keine Beziehung zwischen abhängigen und unabhängigen Variablen besteht. Umgekehrt können Änderungen in der abhängigen Variablen nur aufgrund einer demoralisierten Kontrollgruppe beeinflusst werden, die weniger hart oder motiviert arbeitet, nicht aufgrund der unabhängigen Variablen.,
Experimenter biasEdit
Experimenter Bias tritt auf, wenn die Personen, die ein Experiment durchführen, versehentlich das Ergebnis beeinflussen, indem sie sich nicht bewusst anders verhalten als Mitglieder von Kontroll-und Experimentalgruppen. Es ist möglich, die Möglichkeit einer experimentatorischen Voreingenommenheit durch die Verwendung von Doppelblindstudienentwürfen zu beseitigen, bei denen dem Experimentator der Zustand, zu dem ein Teilnehmer gehört, nicht bekannt ist.