In der Begutachtung einer qualitativen Inhaltsanalyse kommt fast immer dieselbe Frage: Woher weißt du, dass deine Codierung mehr ist als deine persönliche Lesart? Die übliche Antwort ist die Intercoder-Reliabilität, meist berechnet als Cohens Kappa. Die Rechnung dauert fünf Minuten. Was schiefgeht, passiert davor — bei Einheiten, Stichprobe und Unabhängigkeit — und danach, bei der Interpretation.
Dieser Artikel rechnet ein Beispiel Schritt für Schritt vor, ordnet die Werte ein und zeigt, wann Kappa nicht die richtige Frage ist.
Was Kappa misst — und warum Prozent nicht reicht
Zwei Personen codieren dasselbe Material unabhängig voneinander mit demselben Kodierleitfaden. Die einfachste Kennzahl ist die prozentuale Übereinstimmung. Ihr Problem: Ein Teil davon entsteht durch Zufall. Wird eine Kategorie selten vergeben, entscheiden beide meistens "nein" und stimmen überein, ohne dass der Leitfaden etwas leistet.
Cohens Kappa, 1960 von Jacob Cohen für zwei Beurteilende und nominale Kategorien vorgeschlagen, rechnet diesen Zufallsanteil heraus:
κ = (beobachtete Übereinstimmung − erwartete Übereinstimmung) / (1 − erwartete Übereinstimmung)
Ein Wert von 1 heißt vollständige Übereinstimmung, 0 heißt Zufallsniveau, negative Werte liegen darunter. Geprüft wird dabei weniger die zweite Person als dein Leitfaden: Ein hoher Wert zeigt, dass deine Definitionen so eindeutig sind, dass jemand anderes sie genauso anwendet. Wie du solche Definitionen schreibst, zeigt der Artikel Kodierleitfaden erstellen.
Drei Entscheidungen vor der Rechnung
- Analyseeinheiten festlegen. Kappa vergleicht Entscheidungen über dieselben Einheiten, etwa Absätze oder Antworten auf eine Interviewfrage. Grenzt jede Person ihre Textstellen selbst ab, vergleicht ihr am Ende Verschiedenes.
- Stichprobe ziehen. O'Connor und Joffe (2020) nennen je nach Datenumfang 10 bis 25 Prozent der Einheiten als üblich, zufällig gezogen oder nach einem begründeten Kriterium. Halte Anteil und Anzahl fest.
- Unabhängig codieren. Die zweite Person arbeitet nur mit dem Leitfaden, ohne deine Zuordnungen zu sehen und ohne Rücksprache. Ein gemeinsames Probeinterview vorab ist sinnvoll, zählt dann aber nicht zur Stichprobe.
Kann eine Einheit mehrere Kategorien bekommen, wie bei Interviews üblich, rechnest du für jede Kategorie einzeln: vergeben, ja oder nein? So entsteht pro Kategorie eine Vierfeldertafel.
Rechenbeispiel mit Vierfeldertafel
Angenommen, du hast Beschäftigte zu hybrider Arbeit interviewt, und eine Kommilitonin codiert 80 zufällig gezogene Absätze mit deinem Leitfaden. Für die Kategorie Entgrenzung ergibt sich diese Tafel (A bist du, B die zweite Person; die Zahlen sind für dieses Beispiel erfunden):
| B: vergeben | B: nicht vergeben | Summe | |
|---|---|---|---|
| A: vergeben | 18 | 4 | 22 |
| A: nicht vergeben | 6 | 52 | 58 |
| Summe | 24 | 56 | 80 |
Schritt 1: beobachtete Übereinstimmung
Übereinstimmung steht auf der Diagonalen: 18 Absätze, in denen ihr beide die Kategorie vergeben habt, und 52, in denen keiner sie vergeben hat. (18 + 52) / 80 = 0,875, also 87,5 Prozent.
Schritt 2: erwartete Übereinstimmung
Du hast die Kategorie in 22 von 80 Absätzen vergeben (0,275), B in 24 (0,30). Entscheidet ihr mit diesen Häufigkeiten rein zufällig, stimmt ihr beim "ja" mit einer Wahrscheinlichkeit von 0,275 × 0,30 = 0,0825 überein und beim "nein" mit 0,725 × 0,70 = 0,5075. Zusammen: 0,59.
Schritt 3: Kappa
κ = (0,875 − 0,59) / (1 − 0,59) = 0,285 / 0,41 ≈ 0,70. Aus 87,5 Prozent Übereinstimmung werden nach Abzug des Zufalls 0,70 — ein ordentlicher Wert, aber ein anderer, als die Prozentzahl nahelegt.
Seltene Kategorien
Die Kategorie Fehlender informeller Austausch vergebt ihr in denselben 80 Absätzen je fünfmal, aber nur zweimal an derselben Stelle. Übereinstimmung: 74 von 80, also 92,5 Prozent. Kappa: 0,36.
In diesem Fall ist Kappa nicht zu streng. Die 92,5 Prozent stammen fast ganz aus den 72 Absätzen, in denen keiner die Kategorie vergeben hat; wo sie vorkommt, seid ihr euch in zwei von acht Fällen einig. Feinstein und Cicchetti haben dieses Muster aus hoher Übereinstimmung und niedrigem Kappa 1990 als Paradox beschrieben. Die Kehrseite: Bei seltenen Kategorien bewegt eine einzige Entscheidung viel. Hätte B an einer weiteren deiner fünf Stellen ebenfalls codiert, läge Kappa bei 0,51.
Was die Werte bedeuten
Die meistzitierte Einteilung stammt von Landis und Koch (1977):
| Kappa | Einordnung nach Landis und Koch |
|---|---|
| unter 0 | schlechter als der Zufall |
| 0,00–0,20 | gering (slight) |
| 0,21–0,40 | ausreichend (fair) |
| 0,41–0,60 | moderat (moderate) |
| 0,61–0,80 | beachtlich (substantial) |
| 0,81–1,00 | nahezu vollständig (almost perfect) |
Nach dieser Skala wäre Entgrenzung mit 0,70 beachtlich, Fehlender informeller Austausch mit 0,36 nur ausreichend. Landis und Koch nennen ihre Grenzen selbst willkürlich, und andere ziehen sie anders. Krippendorff etwa empfiehlt für sein Maß Alpha, sich erst ab 0,80 auf Daten zu verlassen und zwischen 0,667 und 0,80 nur vorläufige Schlüsse zu ziehen. Für deine Arbeit heißt das: Nenne die Skala, nach der du interpretierst, und lege sie fest, bevor du rechnest — nicht erst, wenn du siehst, welche Einordnung besser klingt.
Drei typische Fehler
1. Nur die Prozentzahl berichten
Bei ungleich verteilten Kategorien sagt sie wenig. Berichte Prozent, Kappa und die Häufigkeit der Kategorie zusammen.
2. Ein Wert für das ganze Kategoriensystem
Ein Gesamtwert kann genau die schlecht definierte Kategorie verstecken, die du finden willst. Berichte die Werte pro Kategorie, mindestens die Spannweite, und lege die Einzelwerte in den Anhang.
3. Den Leitfaden ändern und den alten Wert berichten
Nach der Prüfung schärfst du Definitionen nach, dafür ist sie da. Dann bezieht sich dein Kappa aber auf die alte Fassung. Schreib das so hin oder prüfe die neue Fassung an einer weiteren Stichprobe.
Wann Kappa nicht passt
- Reflexive thematische Analyse. Braun und Clarke lehnen Übereinstimmungsmaße für ihre Variante ab: Codieren gilt dort als interpretative Leistung, für die es keine "richtige" Lösung gibt, an der sich Übereinstimmung messen ließe. Wer reflexiv arbeitet und Kappa berichtet, widerspricht der eigenen Methode. Mehr dazu im Artikel Thematische Analyse nach Braun & Clarke.
- Frei abgegrenzte Textstellen. Ohne feste Einheiten fehlt die Grundlage für die Zufallskorrektur. Eine Alternative ist das konsensuelle Codieren, wie es Kuckartz und Rädiker beschreiben: Zwei Personen codieren unabhängig, besprechen jede Abweichung anhand der Definitionen und einigen sich. Ergebnis sind geschärfte Definitionen statt einer Kennzahl.
- Mehr als zwei Codierende. Cohens Kappa ist für zwei Personen gebaut. Für mehr gibt es Fleiss' Kappa oder Krippendorffs Alpha, das auch fehlende Werte verkraftet.
Was Software hier kann — und was nicht
Ein Werkzeug kann die Stichprobe ziehen, die zweite Codierung blind halten, fehlerfrei rechnen und zeigen, wo ihr auseinanderliegt. Ob eine Abweichung an einer unklaren Definition liegt oder an einem übersehenen Satz, entscheidest du — und die bessere Definition schreibst du selbst.
Bei KI-gestützter Codierung gilt: Das Modell zweimal laufen zu lassen und Kappa zwischen den Durchläufen zu berechnen, misst seine Gleichförmigkeit, nicht die Eindeutigkeit deines Leitfadens. Aussagekräftig ist eine blinde Neucodierung durch einen Menschen. So ist die Intercoder-Prüfung in Themera gebaut: Du codierst eine Stichprobe, ohne die Zuordnungen des Werkzeugs zu sehen, und bekommst Cohens Kappa. Weil jede Codierung mit einem wörtlichen Zitat belegt ist, kannst du jede Zuordnung des Werkzeugs am Text nachprüfen; danach überarbeitest du den Leitfaden und lässt das Material neu codieren. Wie du das offenlegst, steht im Artikel KI in der Abschlussarbeit offenlegen.
Formulierung für den Methodenteil
Zur Prüfung der Intercoder-Übereinstimmung codierte eine zweite Person eine Zufallsstichprobe von [Anteil] % der Analyseeinheiten (n = [Anzahl]) unabhängig und ohne Kenntnis der Erstcodierung anhand des Kodierleitfadens. Für jede Kategorie wurden die prozentuale Übereinstimmung und Cohens Kappa berechnet; die Interpretation folgt Landis und Koch (1977). Die Werte lagen zwischen κ = [Minimum] und κ = [Maximum]; Einzelwerte und Kategorienhäufigkeiten enthält Anhang [X]. Abweichungen wurden besprochen und führten zur Präzisierung von [Anzahl] Kategoriendefinitionen.
Ersetze die Platzhalter und streiche, was du nicht getan hast. Hast du den Leitfaden nach der Prüfung geändert, gehört auch das in diesen Absatz.
Fazit
Kappa ist schnell gerechnet. Aussagekräftig wird der Wert durch das Drumherum: feste Einheiten, eine Zufallsstichprobe, unabhängige Codierung, Werte pro Kategorie mit Häufigkeit und eine vorab gewählte Skala. Wer reflexiv arbeitet, beantwortet die Kappa-Frage mit einer Begründung, nicht mit einer Zahl.
Beispielanalyse ansehen — mit Codes, wörtlichen Belegen und Abdeckungsanzeige — oder mit eigenem Material testen: drei Analysen kostenlos, ohne Kreditkarte.