Tutorial zur Übereinstimmungsanalyse bei attributiven Date

Die App Attribute Agreement Analysis wird verwendet, um zu bewerten, ob Prüfer mit sich, untereinander und hinsichtlich bekannter Standards konsistent sind.

Beispieldaten

Fünf Stoffprüfer in einer Textilfärberei bewerteten die Farbqualität von blauem Stoff. Der Ingenieur für die Qualitätskontrolle möchte die Konsistenz und Richtigkeit der Bewertungen der Prüfer beurteilen.

Bitte laden Sie zuerst die Beispieldaten für die Bewertung herunter. Der Download enthält eine Origin-Arbeitsmappendatei, die Sie erst extrahieren und dann die enthaltene .ogwu-Datei per Drag&Drop in Origin ziehen, um sie zu öffnen.

Es sind zwei Arbeitsblätter vorhanden. Daraus können Sie schließen, dass dieses Werkzeug zwei Datenanordnungen unterstützt. Im ersten Blatt gibt es 10 Spalten für Bewertungsdaten, 40 Zeilen für 40 Stichproben.

• Jede Stichprobe wurde zweimal durch einen Prüfer in zufälliger Reihenfolge bewertet.
• Die Bewertungsskala reicht von -2 bis 2 und umfasst insgesamt 5 Stufen, die die Farbqualität der blauen Stoffe angeben. Negative Bewertungen weisen auf hellere Farben hin, positive Bewertungen auf dunklere Farben.
• Alle Stichproben haben ihre Standardbewertung.

Das zweite Blatt enthält ebenfalls all diese Daten, alle Bewertungsdaten sind aber in einer einzelnen Spalte angeordnet.

App herunterladen und installieren

• Klicken Sie auf die Schaltfläche Apps hinzufügen in der Apps-Galerie, um das App-Center zu öffnen, suchen Sie "Attribute Agreement Analysis“ (Übereinstimmungsanalyse bei attributiven Daten) und installieren Sie die App.

ODER

• Laden Sie die App von der Webseite OriginLab Dateiaustausch herunter und ziehen Sie die OPX-Datei per Drag&Drop in Origin, um sie zu installieren.

Schritte

Mehrere Spalten für Bewertungsdaten

1. Aktivieren Sie das erste Blatt und klicken Sie dann auf das App-Symbol in der Apps-Galerie, um den Dialog der App zu öffnen.

   

2. Legen Sie die Einstellungen in diesem Dialog, wie unten zu sehen, fest:
   • Wählen Sie Mehrere Spalten in der Auswahlliste Attributive Daten/Bewertungsdaten angeordnet als.
   • Wählen Sie Col(B)~Col(K) als Attributive Daten/Bewertungsdaten. Setzen Sie die Anzahl der Prüfer auf 5 und die Anzahl der Versuche auf 2.

     Hinweis: Die Anzahl der Spalten für Attributive Daten/Bewertungsdaten sollte die Anzahl der Prüfer mal die Anzahl der Versuche sein. In diesem Beispiel gibt es 5 Prüfer. Jeder Prüfer führt 2 Versuche bei allen Stichproben durch. Die Anzahl der Spalten für Attributive Daten/Bewertungsdaten sollte also 5*2=10 sein, was den 10 Spalten der Eingabedaten entspricht, die wir ausgewählt haben.

   • Wählen Sie Col("Appraiser") als Prüfernamen und Col("Standad Rate") als Bekannter/s Standard/Attribut.
   • Aktivieren Sie das Kontrollkästchen Kategorien der ordinalen Daten, da der Rangbereich -2 bis 2 ist.

   

3. Klicken Sie auf OK, um die Analyse durchzuführen. Sie erhalten zwei Ergebnisblätter.

Einzelne Spalte für Bewertungsdaten

1. Wechseln Sie zum zweiten Blatt "Summary" und klicken Sie dann auf das App-Symbol, um den Dialog der App zu öffnen.
2. Legen Sie im Dialog folgende Einstellungen fest:
   • Setzen Sie Attributive Daten/Bewertungsdaten angeordnet als auf Einzelne Spalte.
   • Wählen Sie Col("Rating") als Attributive Daten/Bewertungsdaten, Col("Sample Index") als Stichproben, Col("Appraiser") als Prüfer, Col("Standard Rate") als Bekannter/s Standard/Attribut.
   • Aktivieren Sie das Kontrollkästchen Kategorien der ordinalen Daten. Behalten Sie die Standardeinstellungen für die Gruppe Optionen bei.

   

3. Klicken Sie auf die Schaltfläche OK, um die Ergebnisblätter zu erstellen.

Ergebnisse analysieren

Innerhalb Prüfer

Diese Tabelle wird verwendet, um die Konsistenz der Antwortvariablen für jeden Prüfer zu bewerten.

Hinweis: Diese Tabelle zeigt, ob die Bewertungen des Prüfer für ihn selbst konsistent sind, aber nicht, ob die Bewertungen mit den Referenzwerten übereinstimmen. Konsistente Bewertungen sind nicht unbedingt korrekte Bewertungen.

• In der Tabelle "Übereinstimmung der Bewertungen" können wir uns die "Übereinstimmungs"-Spalte ansehen, in der die Anzahl der Vorkommnisse aufgeführt ist, wenn der Prüfer mit sich selbst über zwei Versuche übereingestimmt hat. Wir können sehen, dass Prüfer "C" die meisten Übereinstimmungen hat.
• In der Tabelle "Kappa-Statistik" sind einige Kappa-Werte 1, was die perfekte Übereinstimmung innerhalb eines Prüfers zwischen zwei Versuchen zeigt. Alle Kappa-Werte waren größer als 0,82, was zeigt, dass es eine gute Übereinstimmung innerhalb eines Prüfers zwischen zwei Versuchen insgesamt gibt. Die p-Werte waren viel kleiner als 0,05. Das bedeutet, dass die Übereinstimmung nicht auf Zufall zurückgeführt werden kann.
• Da die Bewertungsdaten ordinal sind, wurden die Werte für Kendalls Konkordanzkoeffizient ausgegeben. Diese Werte sind alle größer als 0,98, was auf eine sehr starke Verbindung innerhalb von zwei Bewertungen für jeden Prüfer hindeutet.

Jeder Prüfer vs. Standard

Diese Tabelle wird verwendet, um die Richtigkeit der Antwortvariablen für jeden Prüfer zu bewerten.

• In der Tabelle "Übereinstimmung der Bewertungen" können Sie die "Übereinstimmungs"-Spalte prüfen, ob die Bewertungen der Prüfer über die Versuche mit dem bekannten Standard übereinstimmen. Wie wir sehen können, haben Prüfer "C" und "E" ein Maximum. Das bedeutet, sie haben mehr richtige Bewertungen.
• In der Tabelle "Kappa-Statistik“ sind alle Kappa-Werte größer als 0,83, was eine sehr gute Übereinstimmung zwischen jedem Prüfer und dem Standard zeigt. Die p-Werte waren viel kleiner als 0,05. Das bedeutet, dass die Konsistenz nicht auf Zufall zurückgeführt werden kann.
• Da die Daten ordinal sind, wurden die Werte für Kendalls Konkordanzkoeffizient ausgegeben. Diese Werte sind größer als 0,95, was auf eine starke Verbindung zwischen den Bewertungen und den Standardwerten hindeutet.

Zwischen Prüfern

Diese Tabelle wird verwendet, um die Konsistenz der Antwortvariablen zwischen den Prüfern zu bewerten.

Hinweis: Diese Tabelle zeigt, ob die Bewertungen der Prüfer untereinander konsistent sind, aber nicht, ob die Bewertungen mit den Referenzwerten übereinstimmen. Konsistente Bewertungen sind nicht unbedingt korrekte Bewertungen.

• In der Tabelle "Übereinstimmung der Bewertungen" können wir in der "Übereinstimmungs"-Spalte sehen, dass die Prüfer miteinander bei 32 Stichproben über zwei Versuche übereinstimmen.
• Alle Kappa-Werte sind größer als 0,81. Das weist darauf hin, dass alle Bewertungen eine gute Übereinstimmung zwischen den Prüfern haben. Die p-Werte waren fast 0. Das bedeutet, dass die Übereinstimmung nicht auf Zufall zurückgeführt werden konnte. Die Prüfer haben die meisten Übereinstimmungen für die Stichproben auf Stufe -2 und 2 und die wenigsten Übereinstimmungen für die Stichproben auf Stufe -1 und 0.

  Da es fünf Prüfer und zwei Versuche pro Prüfer gibt, was nicht mit der Regel zum Berechnen der Werte von Cohens Kappa übereinstimmt, gibt es keine Ausgabewerte in der Tabelle von Cohens Kappa-Statistik.

• Da die Daten ordinal sind, wird Kendalls Konkordanzkoeffizient (0,97965) ausgegeben, was auf eine starke Verbindung zwischen den Prüferbewertungen hinweist.

Alle Prüfer vs. Standard

Diese Tabelle wird verwendet, um die Richtigkeit der Antwortvariablen für alle Prüfer zu bewerten.

• In der Tabelle "Übereinstimmung der Bewertungen" können wir in der "Übereinstimmungs"-Spalte sehen, dass die Bewertungen aller Prüfer mit dem bekannten Standard bei 32 Stichproben übereinstimmt.
• Der Kappa-Wert insgesamt beträgt 0,93096/0.93104. Das weist darauf hin, dass es eine starke Übereinstimmung mit den Standardwerten gibt. Die p-Werte waren fast 0. Das bedeutet, dass die Übereinstimmung nicht auf den Zufall zurückgeführt werden konnte.
• Da die Daten ordinal sind, wird Kendalls Konkordanzkoeffizient (0,97243) ausgegeben, was auf eine starke Verbindung zwischen den Bewertungen von allen Prüfern und den Standardwerten hinweist.

Zusammenfassung der Nichtübereinstimmung der Bewertungen mit dem Standard

Diese Tabelle listet die Vorkommnisse falscher Bewertungen für jeden Prüfer auf.

Da jeder Prüfer jede Stichprobe zweimal bewertet, erhält eine falsche Bewertung 50 % und zwei falsche 100 %.

Diagramm zur Übereinstimmung der Bewertungen

Dieser Zweig wird verwendet, um die Prüferübereinstimmung visuell zu bewerten.

• Das Diagramm "Innerhalb Prüfer" wird verwendet, um die Konsistenz der Bewertungen von jedem Prüfer anzuzeigen. Wie Sie sehen können, hat Prüfer C die meisten konsistenten Bewertungen und Prüfer D die wenigsten konsistenten Bewertungen. Hinweis: Dieses Diagramm wird nur ausgegeben, wenn jeder Prüfer mehrere Versuche hat.
• Das Diagramm "Prüfer vs. Standard" wird verwendet, um die Richtigkeit der Bewertungen von jedem Prüfer anzuzeigen. Wie Sie sehen können, haben Prüfer C und E die meisten korrekten Bewertungen und Prüfer D die wenigsten korrekten Bewertungen.