Posts tagged ‘Probabilidad’

Antes de comenzar con la guía rápida de FMEA, creo que sería bueno revisar el proceso general.

Visión global del Proceso

  • Es deseable un buen entendimiento del proceso.
  • Los procesos largos, deben ser fraccionados en subprocesos, en etapas o componentes.
  • Cada punto o modo de falla de cada etapa o componente, debe ser identificado.
  • Luego debe ser identificado el efecto de cada uno de los puntos o modos de falla.
  • Finalmente es evaluado cada uno de los simples puntos de falla, para ver su riesgo y la necesidad de acciones de mitigación.

Hay diferentes herramientas para efectuar dicho análisis, nosotros hemos optado por el uso del FMEA (o en español AMFE = Análisis de Modo de Falla y Efectos).

A los interesados en el tema, disponemos de una Planilla Excel, que les servirá para llevar adelante el análisis de riesgo con FMEA, donde en una de las solapas encontrará los criterios de aceptación para cada uno de los 3 criterios utilizados y en la otra una planilla para registrar las evaluaciones efectuadas, solicítela enviando email a: info@cgmpdoc.com.

El FMEA utiliza 3 criterios:

  1. Severidad
  2. Probabilidad
  3. Detectabilidad

Los criterios están establecidos en un rango numérico, los valores altos implicando un mayor impacto. El rango utilizado puede ser bajo, como por ejemplo de 1 a 3 (Bajo, Medio o Alto) para usar la herramienta de forma más simple, sin embargo lo más común es usar un rango de 1 a 5 o de 1 a 10, dependiendo de la definición deseada del score. Un estudio largo con muchos eventos que evaluar debería estar adecuado con largos rangos de valores.

Para cada etapa o componente del proceso, determinar el o los modos de fallas y cómo la falla podría ser presentada por sí misma (efecto de la falla – qué defecto es creado).

La pregunta en esta etapa es ¿Qué podría salir mal?

Luego para casa caso de falla, es importante determinar el impacto, el efecto o el riesgo.

Para cada uno de estos casos, se determinan los 3 criterios anteriores (severidad, probabilidad y detectabilidad).

Severidad

Es una medida de las consecuencias / impacto si el evento ocurre, ¿Cuáles son las consecuencias si esto sale mal?

  • Si el riesgo identificado ha sucedido, ¿Cuál es el impacto para el usuario final o para el proceso?
  • NO incluir o considerar cualquier mitigación o control actual, o método de detección en el racional cuando se determina el rango de severidad.
  • El peor escenario debería ser usado si hay una duda entre dos scores, el score más alto debe ser usado.

Probabilidad (Ocurrencia)

Es una medida de la probabilidad de que el evento suceda. ¿Cuál es la probabilidad que esto salga mal?

  • ¿Cuál es la probabilidad que el riesgo ocurra o cuál es la historia de ocurrencia del evento?
  • ¿Hay datos históricos que pueden ser usados?

o   Para el sistema actual que está establecido o

o   Para un sistema análogo si el sistema aún no está establecido

Detectabilidad

Es una medida de la probabilidad que el evento sea detectado si ocurre. ¿Será detectado?

  • ¿Qué métodos están en el lugar disponibles para la detección si el evento ha ocurrido?
  • ¿Cuál es la probabilidad de este método de detectar el evento?

Luego con estos tres scores se calcula el RPN o Risk Priority Number, que es el producto de los 3 puntajes anteriores.

RPN = S x P x D

  • A > RPN > Riesgo
  • Para los scores de RPN que están en el mismo nivel de riesgo, el score de Severidad le da mayor peso, luego el de Probabilidad y finalmente el de Detectabilidad.

Mitigaciones

Los scores de Severidad (impacto al paciente), raramente pueden ser cambiados, pero hay instancias donde el cambio del material / proceso puede disminuir el impacto al paciente.

Prioridades de mitigación:

Las mitigaciones que reducen la probabilidad deberían ser siempre precedentes a las que mejoran la detectabilidad de la falla (es mejor reducir la probabilidad de que el evento ocurra que depender del método de detección para identificar el problema).

Si la probabilidad no puede ser reducida a nivel aceptable, entonces el método de detección que puede identificar que los eventos han ocurrido deberían ser lo más cercanos / próximos al punto de falla como sea posible

Métodos de detección de ingeniería (ejemplo sistemas de visión, alarmas, etc.), son preferidos sobre aquellos procedimentales como (muestreo AQL, testeos sobre el proceso, etc.). Las mitigaciones procedimentales son las medidas de mitigación más débiles, generalmente recaen sobre el muestreo o testeo para detectar la falla, lo cual probablemente aumenta el impacto del evento. En este caso el producto ya está hecho y el defecto puede impactar de una forma la calidad antes que sea detectado.

Documentación del FMEA

Utilizar la planilla Excel adjunta, en la misma encontrará un ejemplo para ver el uso de la misma. Además contiene notas aclaratorias sobre los campos.

Se establecen para el RPN, rango de valores para clasificar a los riesgos como Bajos, Medio o Altos (la planilla tiene una tabla con criterios, los mismos pueden ser ajustados, pudiendo uno ser más o menos exigente).

Finalmente para todos aquellos riesgos de scores alto (Alto riesgo), deben ser tomadas acciones de mitigación adicionales para reducir el nivel de riesgo a nivel bajo o medio al menos.

Luego de planeadas las acciones de mitigación adicional, el factor de RPN debe ser recalculado de acuerdo a la nueva situación.

Las acciones de mitigación (CAPAs) son seguidas usualmente a través del sistema CAPA del laboratorio y además es vital la verificación de la efectividad de las mismas.

NOTA: es sumamente importante a la hora de estimar la probabilidad de ocurrencia de la falla, conocer las posibles causas de la misma (conocimiento del proceso), de la misma forma que para la determinación de las acciones de mitigación.

Cualquier evaluación de integridad de datos dentro de una operación de laboratorio manual o electrónica debe basarse sobre un análisis de riesgo vs. las características detalladas en la tabla adjunta y utilizando el ciclo de vida de los datos (recolección, procesamiento, revisión y reporte de los datos).

imagen12_integridad-de-datos

Característica Definición
Atribuible ¿Quién adquirió los datos o realizó una acción y cuándo? Si un registro es modificado por quién y porqué.

Esto debería ser claro quien crea un registro y cuando. De todos modos, debería ser claro quien hace una enmienda en un registro, cuando y porqué.

Legible Los datos deben ser registrados de forma permanente en una forma duradera y fácil de leer.
Contemporáneo Los datos deben ser registrados al mismo tiempo que el trabajo es efectuado con marca de fecha y hora.

Esto significa que la evidencia o los resultados de los tests son registrados como son observados, de esta forma permite la reconstrucción de los eventos alrededor de los datos.

Original La información registrada deben ser datos originales (datos crudos) o una copia certificada del proceso.

Los datos NO deben ser transcritos de u a fuente a otra sin justificación y control certificado del proceso in place.

Exacto Sin errores o ediciones efectuadas sin enmiendas en los documentos.

La información registrada es correcta.

El análisis de riesgo es el proceso de identificar los peligros y los modos de falla y evaluar las consecuencias potenciales de esos peligros. Esto es críticamente dependiente de que la gente con el correcto conocimiento sea involucrada.

Los análisis de riesgos de calidad comienzan con una descripción bien definida del problema, una pregunta de riesgo o un análisis de un área de riesgo particular. En el caso de integridad de datos el proceso de laboratorio individual debe ser mapeado en detalle, comenzando por la preparación de la muestra, a través de los resultados de verificación / aprobación y finalizando con el archivo y recuperación de los datos.

Una vez que el proceso fue analizado para las áreas de riesgo crítico de integridad de datos, por ej. cuál es el riesgo y que impacto podría tener sobre la calidad del producto y la seguridad del paciente, entonces pueden ser asignadas etapas de mitigación.

El proceso de análisis debe seguir las siguientes preguntas (por ejemplo):

  • ¿Qué podría salir mal?
    • Datos han sido perdidos
    • Los sistemas fallan y no hay un plan de business continuity (continuidad del negocio) in place
    • Los datos no están siendo registrados
    • Los datos no están siendo verificados
    • El audit trail no está siendo revisado
    • El audit trail no está encendido
    • El entrenamiento y la concientización del instrumento es inadecuado
    • Los passwords están siendo compartidos
    • Los resultados no son atribuibles, etc.
  • ¿Cuál es la probabilidad de que esto salga mal?
  • ¿Cuáles son las consecuencias (severidad) para la calidad del producto o la seguridad del paciente?
  • La falla ¿Será detectada? ¿Cómo?

Hay muchas herramientas y técnicas que pueden ser usadas para ayudar a identificar peligros y /o modos de fallas y evaluar los riesgos. No hay una sola herramienta o técnica que cumpla con todos los requerimientos.

El proceso de Análisis de riesgos conducido como parte del ciclo de vida de validación de sistemas computarizados, nos permite poner el énfasis y la atención apropiada en aquellas partes del sistema que pueden tener potencial impacto sobre la seguridad al paciente, la calidad del producto y la integridad de datos.

mitigarriesgo1

Es recomendable conformar un equipo para el manejo de la validación de los sistemas computarizados inicialmente, y para el posterior manejo de los cambios que pudiera tener el sistema durante su uso productivo. Este equipo debe tener como mínimo de los siguientes roles:

  • Propietario del sistema (inicialmente este role puede ser llevado a cabo por el manager del proyecto)
  • Propietario de procesos del negocio
  • Proveedor (o representante técnico)
  • Representante de IT (con formación en Compliance)
  • Representante de Quality Assurance

Los principios de evaluación y gestión de riesgos son aplicados desde que se introduce un sistema informático a la planta, y además durante el control de cambios, la revisión periódica y el decomiso del mismo.

Como parte de la implementación inicial del sistema computarizado, se evalúan los riesgos del proyecto, por ejemplo: restricciones de recursos, falta de conocimiento técnico, financiación, estabilidad del proveedor, etc. Estos riesgos del proyecto pueden ser manejados por el Propietario de procesos del negocio o Project Manager.

Registro del sistema y determinación del impacto regulatorio

Se trata de la primera etapa de análisis de riesgos del sistema, donde se efectúa una evaluación regulatoria (por ej. si el sistema tiene impacto GxP), o es crítico para el negocio, SOx, Finanzas, Privacidad de datos, eDiscovery. Luego de esta evaluación, se toma y se registra la decisión sobre si el sistema será validado.

Clasificación de riesgo del sistema

Si un sistema computarizado debe validarse entonces debe llevarse a cabo una clasificación de riesgo del sistema para ayudar a determinar el nivel y el alcance de las actividades de validación requeridas. Los resultados de la clasificación de riesgos deben ser registrados.

La clasificación de riesgos del sistema asigna un score que puede ser Alto, Medio o Bajo basado en:

  • El status GxP del sistema
  • El status de evaluación del proveedor (Rojo, Amarillo o Verde)
  • La categoría GAMP5 del sistema
  • Si el sistema almacena registros GxP
  • Si el sistema tiene una red de conectividad.

Estos factores son registrados en el sistema de registro.

Esta clasificación de riesgo pretende reflejar el potencial nivel de riesgo que el sistema tiene para el proceso de negocio, por ej. Si el sistema fue desarrollado a medida, de acuerdo a las GAMP es categoría 5, o el proveedor tiene un sistema de gestión de calidad que NO es lo suficientemente maduro, la clasificación de riesgo del sistema establecida será mayor para asegurar que se aplican controles más exhaustivos durante el ejercicio de validación del sistema.

Para cada sistema, los entregables requeridos son descriptos en el Plan de Validación del sistema computarizado. El nivel de las actividades de validación dependerá de la clasificación del sistema, bajo, medio o alto, el paquete de testeos y su ejecución podría ser efectuado por el proveedor en el caso de un sistema de bajo riesgo, aunque en el caso de un sistema de alto riesgo, el paquete suele ser desarrollado en conjunto (proveedor + laboratorio) y la ejecución puede ser efectuada por el proveedor con la aprobación final del laboratorio o efectuada por el laboratorio.

Análisis de riesgo funcional

Si es requerido, un análisis de riesgo funcional es llevado a cabo. Esto se puede hacer a un nivel alto y / o un nivel funcional. El factor clave para llevar a cabo una evaluación de riesgos funcional es en los casos donde los escenarios de riesgo y la probabilidad y controles de mitigación no pueden determinarse sólo por hacer una evaluación de alto nivel y donde se requiere más detalle. Evaluación del riesgo sólo puede llevarse a cabo una vez que el diseño del sistema se ha acordado y aprobado. Los sistemas de bajo riesgo no necesitan someterse a una Evaluación de Riesgos. Los sistemas clasificados como de medio y alto riesgo deben someterse a una evaluación de riesgos en un nivel alto como mínimo. Una evaluación de riesgo alto nivel considera requisitos en grupos.

  • La primera etapa es para clasificar los requerimientos. Dentro del URS, para cada requerimiento:
    • Establecer el impacto GxP
    • Establecer la criticidad para el negocio
    • Establecer cualquier otra área sujeta a regulación, ej. SOx, Financiera, Privacidad de datos, eDiscovery.
  • La segunda etapa implica la realización del análisis de riesgo para cada requerimiento

El foco de la evaluación está en la interacción del sistema con el proceso de negocio.

El análisis de riesgo debe considerar, para cada requerimiento:

  • Qué podría salir mal (modos de fallas);
  • Probabilidad
  • Impacto
  • Detectabilidad

Luego se lleva adelante un sistema de score de riesgos basados en la probabilidad de ocurrencia, el impacto o severidad del evento y la detectabilidad del mismo (según el enfoque de la GAMP5), el foco debe estar en aquellos ítems donde la clasificación final del riesgo del sistema es medio o alto.

A modo de ejemplo podemos utilizar los siguientes valores:

Probabilidad (1-3)

Severidad (1-3)

Detectabilidad (1-5)

De acuerdo a estos valores, el score mínimo es 1 y el máximo a obtener es 45 y podemos valorar los riesgos de la siguiente manera:

Bajo riesgo (1-4)

Riesgo medio (5-10)

Alto riesgo (>10)

  • La tercera etapa en el proceso es para identificar los controles de mitigación para cada requerimiento. Los controles incluyen testeos técnicos y de negocios, SOPs, requerimientos de entrenamiento, etc.
  • El reporte de la Evaluación de Riesgos funcional, puede ser elaborado utilizando un modelo o template adecuado, y el mismo debe ser aprobado por QA.

Cualquier evaluación de integridad de datos dentro de una operación de laboratorio manual o electrónica debe basarse sobre un análisis de riesgo vs las siguientes características detalladas a continuación:

Atribuible

¿Quién adquirió los datos o realizó una acción y cuándo? Si un registro es modificado por quién y porqué.

Legible

Los datos deben ser registrados de forma permanente (duradera) y fácil de leer.

Contemporáneo

Los datos deben ser registrados al mismo tiempo que el trabajo es efectuado con marca de fecha y hora.

Original

La información registrada deben ser datos originales (datos crudos) o una copia certificada del proceso. Los datos NO deben ser transcritos de una fuente a otra sin justificación y sin control certificado del proceso.

Exacto       

Sin errores o ediciones efectuadas, sin enmiendas en los documentos. La información registrada es correcta.

Basado sobre estas características (atributos de integridad de datos) los laboratorios deben asegurar que los procesos analíticos están definidos, mapeados y con los riesgos evaluados para cumplir con la integridad de datos a lo largo del ciclo de vida de los datos. Todos los datos del sistema procesado deben ser incluidos.

El uso de análisis de riesgo y la generación de proceso de mapeo permite una mayor visibilidad de donde la integridad de datos es crítico y además da soporte a las autoinspecciones de tales sistemas.

Dentro de estos requerimientos básicos, las siguientes 10 áreas claves son esenciales para asegurar la integridad de los datos dentro de los límites de un sistema de datos electrónicos, esto está detallado en el siguiente artículo del blog: http://wp.me/p1Hn5Y-tA

Análisis de riesgo:

El análisis de riesgo es el proceso de identificar los peligros y los modos de falla y evaluar las consecuencias potenciales de esos peligros. Esto es críticamente dependiente de que sea involucrado personal con conocimiento.

Los análisis de riesgos de calidad comienzan con una descripción bien definida del problema, una pregunta de riesgo o un análisis de un área de riesgo particular. En el caso de integridad de datos el proceso de laboratorio individual debe ser mapeado en detalle, comenzando por la preparación de la muestra, a través de los resultados de verificación / aprobación y finalizando con el archivo y recuperación de los datos.

Una vez que el proceso fue analizado para las áreas de riesgo crítico de integridad de datos, por ej. Cuál es el riesgo y que impacto podría tener sobre la calidad del producto y la seguridad del paciente, entonces pueden ser asignadas etapas de mitigación.

El proceso de análisis debe seguir las siguientes preguntas, por ej:

  • ¿Qué podría salir mal?
    • Datos han sido perdidos
    • Los sistemas fallan y no hay un plan de continuidad del negocio in place
    • Los datos no están siendo registrados
    • Los datos no están siendo verificados
    • El audit trail no está siendo revisado
    • El audit trail no está funcionando
    • El entrenamiento y la concientización del equipo/instrumento es inadecuado
    • Los passwords están siendo compartidos
    • Los resultados no son atribuibles
  • ¿Cuál es la probabilidad de que esto salga mal?
  • ¿Cuáles son las consecuencias (severidad) para la calidad del producto o la seguridad del paciente?
  • La falla ¿Será detectada? ¿Cómo?

Hay muchas herramientas y técnicas que pueden ser usadas para ayudar a identificar peligros y /o modos de fallas y evaluar los riesgos. No hay una sola herramienta o técnica que cumpla con todos los requerimientos, en otro momento ampliaremos sobre las mismas.

Espero que les resulte útil.

 

 

La Gestión de Riesgos es más que efectuar sólo una evaluación de los mismos. En la gestión de riesgos:

  • Tenemos que definir / identificar los riesgos
  • Tenemos que establecer una serie de criterios comunes para lo que va a ser estudiado
  • Tenemos que entender el proceso que vamos a estudiar
  • Tenemos que establecer niveles de riesgo que son aceptables y procesos para mitigar los riesgos que no lo son
  • Necesitamos desarrollar estrategias de mitigación para hacer un riesgo más tolerable
  • Tenemos que reevaluar el riesgo a través del tiempo
  • Realmente no podemos gestionar el riesgo, pero si podemos administrar el impacto o resultado si el mismo se produce, o reducir la probabilidad de que ocurra un riesgo identificado
  • Buscamos determinar si existen indicadores que nos advierten si se puede producir un evento

En esencia, lo que estamos haciendo es establecer un proceso para la toma de decisiones que se traducirá en una disminución de su exposición al riesgo y / o limitar el impacto del mismo.