L'intégrité des données est importante - Limiter l'accès aux outils qui pourraient être utilisés pour manipuler les données (1ère partie)

Les contrôles de l'intégrité des données ont évolué - mais sont-ils allés trop loin ?

Alors que les contrôles de l'intégrité des données ont évolué, les attentes à l'égard des contrôles techniques des logiciels ont elles aussi évolué vers un tout autre type de dilemme.

Depuis les années 1980, nous avons des attentes fondamentales :

• Les analystes dans les laboratoires ne devraient pas pouvoir supprimer des données (pour respecter les principes d'intégrité des données, à savoir des données complètes, durables et disponibles).
• Les analystes doivent disposer de comptes utilisateurs individuels et non partagés (pour garantir l'attribution des données).
• Les systèmes informatiques - en particulier les nouveaux systèmes plutôt que les anciennes applications - devraient être équipés de pistes d'audit inaltérables qui ne reposent pas sur l'enregistrement humain des actions.

Pour ces types de contrôles, la suppression de la possibilité pour les utilisateurs individuels de supprimer des données ou de désactiver les pistes d'audit (via les autorisations ou les privilèges des utilisateurs) devrait être à la fois mise en œuvre et validée comme efficace.

Alors que les unités de qualité s'inquiètent de la façon dont les analystes utilisent les outils pour falsifier les données, l'"approche à risque zéro" - supprimer l'accès à toute fonctionnalité avancée - est-elle la bonne solution ?

Cependant, dans l'environnement actuel, d'autres outils sont devenus suspects. Dans le monde de la chromatographie, ces outils peuvent inclure des méthodologies d'intégration de pics et des outils d'identification, ainsi que la possibilité de modifier/corriger les métadonnées des échantillons.

S'agit-il également d'outils qui ne devraient pas être accessibles à un analyste ?

Les risques liés à la modification des métadonnées des échantillons

Considérons d'abord le dernier outil mentionné et utilisons l'exemple d'un poids échantillon saisi. Dans un monde idéal, les valeurs critiques telles que le poids de l'échantillon seraient automatiquement saisies en lisant directement les valeurs sur une balance. Cela nécessite une intégration automatisée entre l'instrument et l'application de laboratoire, telle qu'un tableur, le logiciel de données chromatographiques (CDS), un cahier de laboratoire électronique ou un LIMS, ou une intégration automatisée entre le logiciel de balance dédié au laboratoire et ces autres applications, qui sont considérées comme des "consommateurs" des informations relatives au poids de l'échantillon. Même dans ce monde idéalisé, des erreurs peuvent se produire ; par exemple, le poids peut être transféré à la mauvaise entrée d'échantillon et de telles erreurs doivent être corrigées.

Généralement, cette valeur n' est pas enregistrée automatiquement et l'analyste doit enregistrer le poids de l'échantillon et le transférer ou le taper manuellement dans l'application qui utilisera cette valeur dans ses calculs. Dans ce cas, les possibilités d'erreur sont encore plus nombreuses, ce qui crée une demande accrue de capacité à corriger cette valeur. Il faut donc mettre en place des pistes d'audit permettant de saisir les corrections de ce type de données - des pistes d'audit qui saisissent automatiquement l'identité, l'heure et les valeurs de correction réelles (avant et après), et qui demandent à l'utilisateur d'enregistrer les raisons pour lesquelles cette valeur devait être modifiée.

L'outil permettant d'apporter de telles corrections aux métadonnées des échantillons devrait-il être retiré des mains des analystes ?

Je pense que seule la direction du laboratoire peut le déterminer. Voici quelques-unes des positions conflictuelles qui peuvent survenir :

• L'unité de qualité peut argumenter : "Si la modification de la pondération de l'échantillon peut être utilisée pour manipuler les données (de telle sorte qu'un résultat négatif puisse être faussement transformé en un résultat positif), nous ne pouvons pas accepter ce risque. N'autorisez jamais les analystes à modifier les poids d'échantillon, seuls les gestionnaires peuvent le faire."
• Le responsable du laboratoire peut estimer que le personnel analytique doit être formé pour repérer une entrée incorrecte pendant le cycle d'examen par les pairs et demander à l'analyste initial de corriger l'erreur, avant que les résultats ne soient recalculés et examinés.
• Le personnel analytique peut exprimer l'opinion suivante : "Si personne ne me fait confiance pour faire ce qu'il faut lorsqu'un poids d'échantillon incorrect est introduit, alors laissez l'unité de qualité examiner chaque cycle, repérer les erreurs et effectuer les changements eux-mêmes".
• Un perfectionniste parmi ces rôles pourrait également dire : "Si le bon poids de l'échantillon n'a pas été saisi avant que le test ne soit exécuté/calculé, je préfère que l'ensemble du test soit recommencé, la saisie correcte des données étant vérifiée avant que les données du test ne soient générées".

L'examen périodique des pistes d'audit relatives aux changements de poids d'échantillonnage peut permettre de mieux comprendre pourquoi des erreurs sont commises et doivent être corrigées. Considérez ces trois cas :

Dans les trois cas présentés dans la figure 1, la situation réelle peut être révélatrice d'un scénario très différent.

• Les cas 1 et 2 devraient être facilement vérifiés en regardant l'enregistrement original des données de la balance.
• Dans le cas 3, il convient de demander immédiatement à l'analyste la preuve des données de pesée originales, car il est probable qu'il ne soutienne que l'entrée documentée originale, aucune preuve n'étant disponible pour toute autre valeur enregistrée.

Ce qui est également clair ici, c'est que la "raison documentée du changement" a été faussement saisie ou que l'analyste a une véritable incapacité à taper. Peut-être qu'une "application de lecture d'esprit" futuriste sophistiquée a pu enregistrer ce que l'analyste pensait vraiment ?

Mais que faire si les changements sont carrément interdits ?

Interdire l'utilisation d'un outil d'édition pour corriger les poids des échantillons peut être la réaction immédiate d'un service qualité ayant une forte aversion au risque. Dans ce blog, j'ai clairement indiqué comment un tel outil pouvait être utilisé pour falsifier les résultats. Peut-être que quelque chose de similaire a été noté dans un audit interne ou externe. Mais j'ai également montré ci-dessus comment un outil d'édition pouvait être utilisé de manière responsable - pour corriger des erreurs réelles dans l'enregistrement des poids des échantillons, qu'il s'agisse d'erreurs typographiques ou de simples omissions.

Il est également évident que le type de falsification que j'ai montré dans le cas 3 devrait être facilement découvert au cours du processus d'examen des données par des examinateurs formés pour discerner l'utilisation correcte de cet outil d'édition de la falsification délibérée. L'outil utilisé pour découvrir cette falsification est, dans ce cas, la piste d'audit et les fausses raisons des changements, mais elle pourrait également être observable dans les résultats réels des données.

• Est-il normal d'utiliser deux décimales ?
• La méthode exige-t-elle de peser entre 27 et 30 mg ?
• Le résultat final calculé est-il tout juste conforme aux spécifications ? Peut-on dire qu'il est "limite" ?
• Les données ont-elles été calculées plusieurs fois, avec chaque poids différent ? Une feuille de calcul l'indiquerait-elle ?

Les analystes impliqués dans un cas comme le cas 3 devraient être réprimandés et formés à l'utilisation correcte de cet outil - peut-être en se voyant retirer temporairement leurs droits - mais considérez qu'une résolution plus intelligente consiste à faire examiner leur travail de manière plus approfondie jusqu'à ce que leur fiabilité soit rétablie.

Interdire ou bannir purement et simplement l'utilisation d'outils d'édition pour l'ensemble du personnel est inutile et met une pression supplémentaire sur les analystes, les réviseurs, et aussi sur quiconque devient "la seule personne de confiance" autorisée à corriger ces erreurs de frappe. Mais il convient également d'examiner le processus plus large de révision des données et l'utilisation correcte des outils utilisés.

Si un tel cas se produisait dans votre laboratoire, même s'il était clairement consigné dans la piste d'audit, vos processus de révision seraient-ils suffisamment détaillés pour le repérer avant la sortie du produit ?

Vos processus de révision périodique permettraient-ils d'observer une tendance si de tels outils d'édition étaient utilisés pour une manipulation délibérée des données ?

Dans tous les domaines de la vie, les machines, les outils ou les logiciels peuvent être utilisés pour le plus grand bien ou pour accomplir des actes de falsification ou des crimes, selon la formation et la motivation de la personne qui les manie. Pensez aux armes à feu, aux maladies infectieuses mortelles et même, aujourd'hui, aux véhicules à moteur. Ce n'est pas l'outil seul qui peut être accusé du crime, mais l'intention (ou la négligence) de la personne qui le manie.

Dans mon prochain blog, je vais étendre cette idée à l'intégration des pics chromatographiques.

Lisez d'autres articles de la série de blogs d'Heather Longden, Data Integrity Matters.