Die Reliabilität ist ein Schlüsselkriterium in der wissenschaftlichen Methodik und Evaluation, da sie die Beständigkeit und Reproduzierbarkeit von Messungen gewährleistet. Sie trägt zur Glaubwürdigkeit und Qualität von Forschungsergebnissen bei und ermöglicht es, diese über verschiedene Kontexte und Zeitpunkte hinweg vergleichbar zu machen. Alles, was du darüber wissen musst, findest du im Folgenden.
Inhaltsverzeichnis
Reliabilität „einfach erklärt“
Die Reliabilität ist ein Maß für die Zuverlässigkeit oder Beständigkeit einer Messung, das in der wissenschaftlichen Forschung genutzt wird. Im Wesentlichen geht es darum, ob ein Test bei wiederholter Anwendung unter denselben Bedingungen ähnliche Ergebnisse liefert.
Definition: Reliabilität
Reliabilität beschreibt die Messgenauigkeit bzw. Verlässlichkeit wissenschaftlicher Messungen. Das Gütekriterium quantitativer Forschung analysiert die Zuverlässigkeit von Messungen bei statistischen Erhebungen.
Ein statistischer Messwert gilt dann als zuverlässig oder reliabel, wenn die Messgenauigkeit der verwendeten Messinstrumente (z. B. Fragebögen) oder die Messgenauigkeit der Ergebnisse besonders hoch ist. In einfachen Worten ausgedrückt: Bei dem Gütekriterium dreht sich alles darum, ob die Forschung bei wiederholter Durchführung ebenfalls zuverlässige Ergebnisse erzielt. Sie gibt also Auskunft über die Genauigkeit von Messungen und ob sie sich reproduzieren lassen.
Es ist jedoch wichtig zu wissen, dass eine hohe Reliabilität allein nicht garantiert, dass ein Test auch das misst, was er messen soll, was als Validität bezeichnet wird.
Anwendung
In empirischen Untersuchungen wird die Messgenauigkeit in zwei Phasen sichergestellt. Einmal in der Datenerhebungs-Phase und einmal in der Datenanalyse-Phase.
In der Datenerhebungs-Phase können verschiedene Methoden angewendet werden. Ob nur eine oder mehrere Methoden angewendet werden, hängt von den Anforderungen und Zielen der spezifischen Studie ab. Während der Datenanalyse-Phase kommen Methoden wie die Interrater-Reliabilität zum Einsatz, um die Zuverlässigkeit der Ergebnisse weiter zu gewährleisten.
Fünf Arten
Insgesamt gibt es fünf Arten der Messgenauigkeit, die du im Rahmen deiner wissenschaftlichen Untersuchung überprüfen kannst. Im Folgenden gehen wir näher auf die fünf verschiedenen Reliabilitäten ein.
Interrater-Reliabilität
Die Interrater-Messgenauigkeit ist ein Maß, welches die Übereinstimmungen bzw. Abweichungen zwischen den Bewertenden in der Auswertung der Daten festhalten soll. Sie stellt somit eine Verbindung zwischen den beiden Gütekriterien Reliabilität und Objektivität her. Für die Bewertung von Interrater-Reliabilität eignen sich Programme wie Microsoft Excel oder SPSS. Wurden die Daten zu 100 % objektiv ausgewertet und interpretiert, ist die Messgenauigkeit vollständig erfüllt.
In einfachen Worten: Eine hohe Messgenauigkeit liegt vor, wenn mehrere Personen die gleichen Daten auswerten und dabei dieselben Ergebnisse produzieren. Bei Milieustudien, bei der Zuordnung von Befragten in zuvor festgelegte Kategorien sowie bei psychologischen Tests spielt die Interrater-Messgenauigkeit eine zentrale Rolle. Gerade bei Forschungsprojekten, in denen kein standardisiertes Vorgehen verwendet wird und die Ergebnisse von Person zu Person unterschiedlich ausfallen können, ist die Interrater-Reliabilität von Bedeutung.
Beispiel
Du wertest anhand einer Video-Datei das Verhalten eines Patienten mit Angststörung aus. Dafür schreibst du dir auf, wie oft du Hinweise auf ein bestimmtes Verhalten wahrnimmst. Das Verhalten (z. B. zitternde Hände verstecken, Vermeidung von Blickkontakt) wurde zuvor genau definiert. Anhand dieser Kriterien wertet eine weitere Person das Verhalten im Video aus. Anschließend werden die Ergebnisse miteinander verglichen. Erzielt man sehr ähnliche oder sogar gleiche Ergebnisse, ist die Messgenauigkeit hoch und die Kriterien eignen sich gut für eine objektive Auswertung.
Retest-Reliabilität
Durch die wiederholte Messung der gleichen Daten lässt sich die sogenannte Retest-Reliabilität bestimmen. Die Test-Retest-Methode wird wiederholt eingesetzt und bietet den Vorteil, durch die Wiederholung der Messung Aussagen über die Zuverlässigkeit des jeweiligen Messinstruments bzw. Messverfahrens zu gewinnen. Du wiederholst also deine Untersuchung noch einmal unter denselben Bedingungen und vergleichst schließlich deine Ergebnisse miteinander. Doch Achtung: Für instabile Merkmale wie Zufriedenheit oder Emotionen ist das Maß eher nicht brauchbar. Auch bei Intelligenz- oder Mathetests, bei denen es nach mehrmaliger Durchführung zu Lerneffekten kommen kann, ist die Test-Retest-Methode nicht geeignet.
Beispiel
Du führst ein Experiment zum Zahlenstrahl durch. Anschließend wiederholst du dein Experiment mit den gleichen Versuchspersonen noch einmal. Die Korrelation zwischen beiden Ergebnissen ist deine Retest-Messgenauigkeit.
Paralleltest-Reliabilität
Angenommen zwei verschiedene Versionen eines Messinstruments, messen dasselbe Merkmal. Mithilfe eines Paralleltests kannst du die Messgenauigkeit der beiden Messinstrumente überprüfen. Deine Versuchspersonen müssen zuerst die eine, dann die andere Version vollständig durchlaufen. Beide Messinstrumente sollten zu ähnlichen Ergebnissen kommen.
In der Praxis ist die Paralleltest-Reliabilität allerdings schwer umzusetzen. Du müsstest einen weiteren, nicht identischen Fragebogen mit genau der gleichen Fehlervarianz erstellen, dessen Items die gleichen Merkmale messen wie der erste Fragebogen. Der Paralleltest eignet sich also nur dann, wenn zwei gleichwertige Versionen eines Messinstruments verfügbar sind. Außerdem darf sich das zu messende Merkmal über einen längeren Zeitraum nicht verändern und die gleichen Personen müssen für beide Durchführungen zur Verfügung stehen.
Beispiel
Du hast zwei gleichwertige Fragenkataloge erstellt, die das Persönlichkeitsmerkmal „Offenheit“ messen sollen. Alle deine Versuchspersonen füllen beide Versionen aus. Anschließend misst du die Korrelation zwischen den Ergebnissen.
Split-Half-Reliabilität
Mithilfe des Split-Half-Tests bestimmst du den Aspekt der internen Konsistenz. Du führst den Test nur einmal durch, teilst dabei jedoch die Aufgaben bzw. Fragen künstlich in zwei Hälften. Die beiden Testhälften werden schließlich miteinander verglichen bzw. interkorreliert.
Beispiel
Du hast einen Fragebogen erstellt, der das Persönlichkeitsmerkmal „Extraversion“ erfassen soll. Jede deiner Fragen sollte theoretisch darauf abzielen, das Merkmal Extraversion zu messen. Wenn du den Fragebogen in zwei Hälften teilst und die Ergebnisse parallel auswertest, stellst du fest, wie konsistent dein Test ist. Sind die Ergebnisse nicht ähnlich, ist dein Test nicht in der Lage, dasselbe Merkmal konsistent abzufragen.
Interne-Konsistenz-Reliabilität
Wenn du die interne Konsistenz überprüfen möchtest, musst du einzelne Fragen in einem Fragebogen oder einem Interview miteinander vergleichen und überprüfen, ob sie das gleiche Merkmal untersuchen. Jede Frage wird dabei als eigene Umfrage betrachtet. Die Ergebnisse der einzelnen Fragen werden jeweils miteinander korreliert. Zielen alle Fragen auf ein identisches Merkmal ab, liegt eine hohe interne Konsistenz vor. Sie ist die häufigste Art der Messgenauigkeit, die gemessen wird, da die Tests nicht noch einmal durchgeführt werden müssen. Dieses Maß der Messgenauigkeit bedeutet also weniger Aufwand. Um die interne Konsistenz deines Tests anzugeben, verwendest du Cronbachs Alpha.
Beispiel
Du hast eine Umfrage erstellt, um das politische Wissen in der Bevölkerung zu messen. Wenn Ergebnisse einzelner Fragen stark mit dem Gesamtergebnis deiner Umfrage korrelieren, handelt es sich um eine Umfrage mit hoher interner Konsistenz.
Drei Reliabilitätstypen
Den fünf Arten von Messgenauigkeit werden drei verschiedene Reliabilitätstypen zugeordnet, auf die im Folgenden kurz eingegangen wird.
Messen alle Fragen in deiner Umfrage tatsächlich dasselbe Merkmal? Um die Konsistenz deiner Forschungsergebnisse zu überprüfen, eignet sich die interne Konsistenz bestens.
Erzielen unterschiedliche Personen bzw. unterschiedliche Messverfahren bei der Auswertung desselben Merkmals gleichwertige Ergebnisse? Um die Äquivalenz oder allgemeine Gleichwertigkeit festzustellen, kannst du die Interrater- und die Paralleltest-Reliabilität heranziehen.
Wie stabil bleiben die Messergebnisse deiner Forschung zu verschiedenen Testzeitpunkten? Um die Stabilität deiner Messergebnisse zu überprüfen, eignet sich die Retest-Reliabilität hervorragend.
Reliabilität vs. Validität
Reliabilität und Validität werden häufig miteinander verwechselt. Allerdings gibt es zwischen diesen beiden Gütekriterien wesentliche Unterschiede. Lies dir die folgenden Definitionen durch, um die zwei Gütekriterien garantiert nicht mehr miteinander zu verwechseln:
Reliabilität
Validität
Bezieht sich darauf, ob die Forschung nach wiederholter Durchführung ähnliche beziehungsweise zuverlässige Ergebnisse liefert.
Die Validität einer Forschung gewährleistet, dass bei einer Messung das gemessen wird, was gemessen werden soll.
Zusammenfassung
Reliable Messergebnisse sind zuverlässige Messergebnisse. Das heißt, wenn du deinen Test noch einmal durchführst, werden sehr ähnliche oder gleichwertige Ergebnisse erzielt. Das Messinstrument ist somit „reliabel“. Über die Messgenauigkeit musst du folgendes wissen:
- Gütekriterium der quantitativen Forschung
- Zeigt an, ob deine Ergebnisse zuverlässig und reproduzierbar sind
- Es gibt 5 verschiedene Arten der Messgenauigkeit
- Zusätzlich gibt es 3 verschiedene Reliabilitätstypen
Häufig gestellte Fragen
Reliabilität gibt die Genauigkeit von Messungen oder eines Tests an. Wenn ein Test zuverlässig ist, würde er bei wiederholter Anwendung unter gleichen Bedingungen ähnliche Ergebnisse liefern. Ein Test mit hoher Reliabilität bedeutet, dass er konsistent und verlässlich ist.
Eine Reliabilität von 0.70 wird häufig als ausreichend bezeichnet. Ein Wert von 0.80 gilt als gut und ein Wert von über 0.90 wird als hoch interpretiert. Liegen die Werte unter 0.70 sind die Ergebnisse nicht zuverlässig.
Wenn du eine wiederholte Messung unter gleichen Bedingungen durchführst und diese anderen Ergebnisse liefert, ist die Messgenauigkeit eingeschränkt.
- Objektivität bezieht sich darauf, wie unabhängig die Messergebnisse von der Person sind, die die Messung durchführt. Ein objektiver Test liefert also unabhängig vom Auswerter die gleichen Ergebnisse.
- Reliabilität steht für die Zuverlässigkeit einer Messung und garantiert die Gleichwertigkeit von Messungen. Ein zuverlässiger Test liefert bei der Durchführung verschiedener Messungen zu verschiedenen Zeitpunkten unter gleichen Bedingungen ähnliche Ergebnisse.
- Validität beschreibt, ob ein Test auch wirklich das misst, was er messen soll. Ein valider Test erfasst also das Konstrukt oder die Eigenschaft, die er erfassen soll, auf präzise Weise.
Die Messgenauigkeit sagt aus, wie zuverlässig und konsistent eine Messung oder ein Test ist. Wenn ein Test hohe Reliabilität hat, liefert er bei wiederholter Durchführung unter gleichen Bedingungen ähnliche Ergebnisse. Mithilfe von verschiedenen Methoden kann das Gütekriterium sichergestellt werden.
