Validierung von Testmethoden; leicht zu übersehen

Sicherstellung von Genauigkeit und Verlässlichkeit: Ein Leitfaden für die Validierung von Testmethoden und die Überprüfung von Messgeräten

Alle Qualitätskontrolltests, die zur Bewertung oder Freigabe von Medizinprodukten oder Komponenten durchgeführt werden, sind Tests, die eine Validierung erfordern.
Die Grundsätze des Validierungsprozesses werden in diesem Artikel erläutert.
Die gleichen Grundsätze gelten für die Validierung von Testmethoden, die IQ, OQ (für Analysegeräte) und PQ.
Einer der Schlüsselaspekte der Validierung von Testmethoden ist die Gauge R&R (Wiederholbarkeit und Reproduzierbarkeit), eine statistische Technik zur Bestimmung der Variation und Zuverlässigkeit von Messsystemen (PQ).
Dieser Artikel soll ein umfassendes Verständnis der Testmethodenvalidierung vermitteln und die Bedeutung von Gauge R&R für die Entwicklung robuster und glaubwürdiger Messsysteme hervorheben.
Wir führen die Validierung von Testmethoden für alle unsere Tests durch, können sie aber auch als Dienstleistung anbieten . Eine Liste mit einigen nützlichen Definitionen finden Sie in Anhang A.

Die Bedeutung der Validierung von Testmethoden

Warum müssen wir eine Testmethodenvalidierung durchführen?
Um die richtigen Schlüsse aus Ihren Messungen zu ziehen und um zu beurteilen, ob der Produktionsprozess unter Kontrolle ist.
Wenn Sie die Schwankungen eines bestimmten Aspekts Ihres Produkts (z.B. einer Abmessung) innerhalb einer Charge oder zwischen verschiedenen Chargen messen, können die Ursachen für diese Schwankungen vielfältig sein.
Abbildung 1 zeigt die verschiedenen Schwankungen im System, die zu den beobachteten Abweichungen führen.
Wir müssen die Schwankungen in unserem Messsystem verstehen, um die Prozessschwankungen zu verstehen. Abbildung 1: Komponenten der Variation bei Testmethoden.
Ein gut validierter Test bietet Ihnen Genauigkeit, Zuverlässigkeit und Reproduzierbarkeit.
Außerdem ist dies eine Anforderung des Qualitätssystems ISO 13485 oder GMP.

Der Validierungsprozess

Wie jede Validierung beginnt auch dieser Prozess mit einem Validierungsplan, in dem der Test, die für den Test verwendeten Geräte oder Werkzeuge und die getesteten Produkte erläutert werden.
Es werden Stichprobengrößen und Akzeptanzkriterien festgelegt und die statistische Methode der Messgeräte-R&R wird ausgewählt (z.B. %GRR, %Toleranz).
Wenn Messgeräte für die Messung verwendet werden, sind Installationsqualifikation und Betriebsqualifikation (IQ und OQ) erforderlich, um sicherzustellen, dass das Gerät gut installiert und vollständig in das Qualitätssystem integriert ist und das tut, was der Lieferant versprochen hat.
Andere Tests mit einfacheren Werkzeugen oder ohne Ausrüstung (z.B. eine Sichtprüfung) haben keine oder nur eine begrenzte IQ und OQ.
Als PQ muss die Art des GR&R ausgewählt werden (siehe unten).
Die Proben werden getestet, und es werden Daten gesammelt.
Mithilfe definierter statistischer Werkzeuge und Berechnungen werden die Zuverlässigkeit und Reproduzierbarkeit der Testmethode ermittelt und mit den Akzeptanzkriterien verglichen.
Die Schlussfolgerung kann sein, dass sich die Testmethode nun in einem validierten Zustand befindet, oder, wenn die Kriterien nicht erfüllt sind, muss die Ursache der Abweichung weiter untersucht werden.
Es werden Verbesserungen am Messsystem vorgenommen, und die Tests werden so lange wiederholt, bis die Akzeptanzkriterien erfüllt sind.
Die zusammenfassenden Berichte zeigen die Ergebnisse der Qualifizierungsschritte, einschließlich einer Schlussfolgerung und wie mit den Abweichungen umgegangen wurde.

Messgerät R&R

Es gibt zwei Arten von Prüfmittel-R&R-Tests: Attribut- und Varianz-R&R-Tests.
Die folgenden zwei Abschnitte befassen sich mit diesen beiden Arten.
Außerdem muss die Art des Aufbaus ausgewählt werden.
Sie können zwischen verschiedenen Versuchsaufbauten für Gauge R&R wählen, und Abbildung 2 zeigt, wann diese Aufbauten verwendet werden.
Der gewählte Aufbau hat Auswirkungen auf die statistischen Berechnungen.
Diese Setups sind:

1. Gekreuzte Spurweite R&R
2. Verschachteltes Messgerät R&R
3. Erweiterte Messgeräte-R&R

Mit Extended Gauge R&R können Sie mehr als zwei Faktoren testen. Abbildung 2: Schematische Übersicht zur Auswahl von gekreuztem oder verschachteltem Gauge R&R.
In Anhang B dieses Artikels wird die verschachtelte und gekreuzte Gauge R&R näher erläutert.

Attribut GR&R-Tests

Attribute beziehen sich auf qualitative oder kategoriale Merkmale, die auf der Grundlage bestimmter Kriterien als „konform“ oder „nicht konform“ bewertet werden können.
Zu den Attributen gehören „bestanden/nicht bestanden“, „vorhanden/nicht vorhanden“, „geht/nicht geht“ und qualitative Bewertungen wie „ausgezeichnet/gut/angemessen/schlecht“.
Die Attributprüfung arbeitet mit einem Referenzwert für alle Proben, der von einer Person festgelegt wird, die nicht zu den Gutachtern gehört.
Die Stichprobenpartie muss gleichmäßig in „Gut“- und „Nicht-Gut“-Stichproben aufgeteilt werden, und alle Beurteiler müssen in den „Gut“/“Nicht-Gut“-Anforderungen geschult werden.
Wenn alle Proben getestet worden sind, können die Daten analysiert werden.
Die folgende Analyse könnte gewählt werden.

1. Vertrauen: Vergleichen Sie den Bewerter mit der ‚Masterliste‘.
2. Kappa: zur Bewertung der Zuverlässigkeit zwischen den Bewertern, um die Konsistenz und Übereinstimmung zwischen den verschiedenen Bewertern zu ermitteln.
3. Effektivität: % der falsch-positiven und falsch-negativen Ergebnisse im Verhältnis zum Gesamtumfang der Stichprobe

Der Vergleich dieser Werte mit den festgelegten Akzeptanzkriterien führt zu einer Schlussfolgerung über die GR&R.  

Abweichung GR&R Test

Variablen sind quantitative oder numerische Merkmale, die eine Reihe von Werten annehmen und mit einer bestimmten Einheit gemessen werden können.
Zu den Variablen gehören Länge, Gewicht, Temperatur, Zeit, pH-Wert, Konzentration und andere messbare Größen.
Die R&R des Messgeräts für die Varianzprüfung wird in der Regel mithilfe der Varianzanalyse (ANOVA) berechnet.
ANOVA ist eine Analyse der Varianz des Mittelwerts verschiedener Datensätze für normal verteilte Varianz.
Sie hilft dabei, die Gesamtvariation in andere Komponenten aufzuteilen, wie z.B. die Variation aufgrund von Teilen, Bedienern und der Interaktion zwischen Teilen und Bedienern.
Wählen Sie bei der Auswahl der Stichproben für die ANOVA-Studie zur Messung und Bewertung von Messgeräten die Stichproben nach dem Zufallsprinzip aus, um die beste Bewertung des Messsystems für den betreffenden Prozess zu erhalten.
Die folgenden Informationen können mit ANOVA berechnet und analysiert werden, wenn die Daten normal verteilt sind.
Möglicherweise müssen Sie dies z.B. mit dem Anderson-Darling-Normalitätstest überprüfen.

1. % Beitrag zur Wiederholbarkeitsabweichung
2. Prozentualer Beitrag der Reproduzierbarkeitsabweichung (Teil, Bediener)
3. % Beitrag der GR&R-Abweichung.

Der Vergleich dieser Werte mit den festgelegten Akzeptanzkriterien führt zu einer Aussage über die GR&R.
Eine Faustregel besagt, dass die %GRR weniger als 10% der Toleranz für das Messsystem (Standardabweichung) betragen sollte, um als akzeptabel zu gelten.
Ein niedrigerer %GRR-Wert deutet auf ein leistungsfähigeres und zuverlässigeres Messsystem hin.
Die genauen Akzeptanzkriterien hängen von den Anforderungen und dem Risiko ab.

Verbesserung von GR&R

Wenn die GR&R-Testergebnisse die vordefinierten Akzeptanzkriterien nicht erfüllen, sollten Maßnahmen zur Verbesserung des Messsystems ergriffen werden.
Beispiele für diese Maßnahmen sind:

1. Kalibrierung und Wartung: Kalibrieren und warten Sie die Messgeräte regelmäßig, um Genauigkeit und Zuverlässigkeit zu gewährleisten.
2. Bedienerschulung: Bieten Sie eine umfassende Schulung zu Messtechniken, Verfahren und spezifischen Anforderungen an.
3. Standardarbeitsanweisungen (SOPs): Entwickeln Sie klare und detaillierte SOPs, in denen die zu befolgenden Messverfahren einheitlich beschrieben sind.
4. Fehlervermeidende Techniken: Um menschliche Fehler zu minimieren, setzen Sie Techniken zur Fehlersicherung ein, wie z.B. automatische Messungen oder eingebaute Kontrollen.
5. Kontinuierliche Verbesserung: Überwachen und analysieren Sie die Leistung des Messsystems, identifizieren Sie die Ursachen für Abweichungen und führen Sie geeignete Korrekturmaßnahmen durch.

Nach der Umsetzung dieser Maßnahmen werden die Messungen und die Analyse wiederholt, und es kann eine neue Schlussfolgerung gezogen werden.

Zusammenfassung

Die Validierung von Testmethoden ist ein entscheidender Schritt zur Sicherstellung der Genauigkeit und Zuverlässigkeit von Messsystemen und trägt zu einer besseren Entscheidungsfindung, Qualitätskontrolle und Einhaltung gesetzlicher Vorschriften bei.
Gauge R&R, als integraler Bestandteil der Testmethodenvalidierung, ermöglicht die Identifizierung und Quantifizierung der Variabilität von Messsystemen.
Indem sie die Quellen der Variabilität verstehen und angehen, können Unternehmen die Qualität und Konsistenz ihrer Messprozesse verbessern.
Die Validierung von Testmethoden und Gauge R&R ermöglicht es der Industrie, zuverlässige Daten zu liefern und Vertrauen in ihre Produkte und Dienstleistungen aufzubauen.  

Anhang A: Definitionen

Begriff	Beschreibung
Verzerrung	Differenz zwischen dem gemessenen Durchschnittswert und dem tatsächlichen (Referenz-)Wert
Genauigkeit	Bewertung der Übereinstimmung zwischen gemessenen Werten und tatsächlichen Werten
Präzision	Bewertung der Variabilität und Wiederholbarkeit von Messungen
Empfindlichkeit	Bewertung der Fähigkeit, kleine Änderungen in Messungen zu erkennen
Spezifität	Bewertung der Fähigkeit der Methode, die beabsichtigte Analyse zu messen
Stabilität	Die Schwankung des Durchschnittswerts zwischen den Chargen
Präzision	Die Nähe der verschiedenen Messungen zueinander.
Inspektion nach Attributen	Inspektion, bei der der Artikel entweder einfach als konform oder nicht konform in Bezug auf eine festgelegte Anforderung oder eine Reihe festgelegter Anforderungen eingestuft wird, oder bei der die Anzahl der Nichtkonformitäten des Artikels gezählt wird
Inspektion nach Variablen	Prüfung durch Messung der Ausprägung eines Merkmals eines Artikels
Wiederholbarkeit des Messgeräts	Test der Variation der Ausrüstung. Die Wiederholbarkeit stellt die Abweichung dar, die auftritt, wenn derselbe Bediener die gleichen Teile wiederholt mit derselben Ausrüstung misst. Sie misst die Präzision des Messsystems unter stabilen Bedingungen.
Reproduzierbarkeit des Messgeräts	Testet die Variation des Gutachters. Die Reproduzierbarkeit erfasst die Abweichung, wenn verschiedene Bediener die gleichen Teile mit der gleichen Ausrüstung messen. Sie bewertet die Konsistenz des Messsystems zwischen verschiedenen Bedienern.
%GRR	Quantifiziert die Gesamtabweichung des Messsystems im Verhältnis zur Gesamtabweichung, die bei den gemessenen Teilen beobachtet wird. Sie stellt die Fähigkeit des Messsystems dar, zwischen den tatsächlichen Werten der verschiedenen Teile zu unterscheiden.
%R&R	Stellt den Prozentsatz der Gesamtabweichung dar, der auf die kombinierten Komponenten Wiederholbarkeit und Reproduzierbarkeit zurückzuführen ist. Ein niedriger %R&R weist auf eine bessere Leistung des Messsystems hin.
%Toleranz	Misst die Leistung des Messsystems in Bezug auf die Toleranz- oder Spezifikationsgrenzen. Sie gibt an, wie gut das Messsystem zwischen Teilen innerhalb der vorgegebenen Toleranz unterscheiden kann.
Linearität	Überprüfen der Beziehung zwischen Eingangs- und Ausgangsmessungen
verschachteltes Design	Bei einem verschachtelten Design sind die Bediener in die zu messenden Teile oder Proben verschachtelt. Jeder Bediener misst mehrere Teile, aber nur ein Bediener misst jedes Teil.
gekreuztes Design	Beim gekreuzten Design misst jeder Bediener mehrere Teile und alle Bediener messen alle Teile. Dieses Design ermöglicht die Bewertung der Komponenten Wiederholbarkeit und Reproduzierbarkeit.
Erweiterte Messgeräte-R&R	Die erweiterte GR&R erweitert den gekreuzten Entwurf um zusätzliche Faktoren oder Variationsquellen, die über Bediener und Teile hinausgehen. Zum Beispiel kann der erweiterte Entwurf neben Bedienern und Teilen auch Faktoren wie Maschinen, Schichten oder unterschiedliche Messmethoden als zusätzliche Variationsquellen berücksichtigen.
Kappa	Der Kappa-Koeffizient von Cohen ist ein statistisches Maß, mit dem die Übereinstimmung oder Zuverlässigkeit zwischen zwei oder mehr Operatoren bewertet werden kann, die die Bewertung vornehmen, wenn es sich um kategoriale oder attributive Daten handelt.

 

 

 

Appendix B: gekreuzte und verschachtelte GR&R erklärt.

Eine gekreuzte Gage R&R-Studie für zerstörungsfreie Tests ist in Abbildung B1 dargestellt.
Alle Bediener messen alle Teile. Abbildung B1: Gekreuzte Gage R&R für zerstörungsfreie Prüfungen Eine gekreuzte Gage R&R-Studie für zerstörende Prüfungen ist in Abbildung B2 dargestellt.
Die Prüfer testen Teile aus der gleichen Charge. Abbildung B2.
Gekreuzte Gage R&R für zerstörende Tests.
Bei verschachtelten Gage R&R-Studien, wie in Abbildung B3 dargestellt, hat jeder Bediener seinen eigenen Satz von Proben zu messen. Abbildung B3: Nested Gage R&R