Gestion des risques et des crises : sécurité absolue ?

Question :

« Les grands systèmes techniques ayant déjà atteint les confins de la sécurité absolue, quels moyens mettre en oeuvre pour assurer leur survie? »

Réponse :

Par déformation professionnelle, nous nous méfions beaucoup de l’idée de la « sécurité absolue ».

Nous connaissons également les effets pervers de l’ultra sécurité sur la gestion des crises. Nous observons effectivement chez nos clients que la sécurité des grands systèmes techniques (énergie nucléaire, chimie, santé, aviation, trains, défense, pétrole, informatique) est exceptionnellement élevée.

Mais nous observons comme conseiller en communication de crise que cela ne suffit pas au grand public qui reste hyper réactif à tout accident résiduel. Ces industries sont finalement toutes à la merci d’un « big one » qui pourrait les tuer. Nos clients sont condamnés à progresser, alors même qu’ils sont soumis à des exigences qui rendent parfois difficile le simple maintien de leur sécurité actuelle.

Notre vie quotidienne se déroule à l’ombre de divers grands systèmes socio-techniques qui méritent sans conteste le qualificatif ultrasophistiqué que vous utilisez. On identifiera ainsi quelques chefs de file très médiatiques comme l’industrie aéronautique, le rail dans sa conception moderne des trains à grande vitesse, le nucléaire civil, la chimie, mais on pourrait aussi rajouter les sciences médicales et la biologie de pointe (industrie agroalimentaire, santé, génétique, etc.), et même la finance internationale.

Points communs . Malgré leur apparente diversité, ces systèmes partagent plusieurs propriétés: ce sont des systèmes dynamiques, de haute technologie et à grands risques « sociétaux ». Les accidents sont très rares, mais très mal acceptés. De plus, ils deviennent objectivement de plus en plus douloureux en termes de conséquences humaines et techniques. Bhopal, Tchernobyl, les accidents de la maladie de la vache folle ou du train à grande vitesse allemand ICE illustrent cette croissance du risque technologique lié à chaque dérapage du système. Les accidents aériens déplorés chaque année sont une autre manière, presque plus quotidienne, de démontrer ce glissement du risque. Dans les pays développés, les risques liés à ces systèmes industriels prennent le pas sur les risques des calamités naturelles des siècles passés.

Ces systèmes restent sous le contrôle d’opérateurs dits « de proximité », et entrelacent de multiples types de technologies et de multiples métiers d’opérateurs.

Pour la plupart, ces systèmes sont transnationaux, avec des flux d’échanges importants et des niveaux de contrôle locaux réduits.

Ce sont des systèmes commerciaux, majoritairement de statut privé, vivant dans un monde concurrentiel, et dont la première finalité est le succès économique.

Avec toutes leurs apparentes imperfections, ces systèmes sont indéniablement des succès. Ce sont les plus compliqués que l’homme ait jamais construits, ce sont aussi les plus sûrs et les plus performants. Leur taux d’accident catastrophique est inférieur à un accident par million de mises en jeu (de mouvement aéroport pour les avions, de passager/ kilomètre parcouru pour le rail, d’unité de fonctionnement de tranche pour le nucléaire, etc.).

Ces systèmes sont extrêmement réglés (les procédures sont nombreuses et explicites), les opérateurs sont très bien formés, l’informatique protège contre les débordements du système grâce à un « cocon électronique ». Ce qu’on appelle le retour d’expérience est systématique et formalisé, permettant une exploitation de tous les incidents et accidents connus pour en empêcher la reproduction. Bref, ces systèmes sont ultrasûrs. Nous l’avons vu en accompagnant le Groupe Bouygues sur le chantier de l’EPR de Flamanville exploitée par Engie ou encore en accompagnant le Groupe Orange sur l’installation des antennes-relais 4G et 5G que l’Association Les robins des Toits avait dans son viseur aux côtés du Docteur Jean- Louis Malvy, médecin spécialiste des ondes électro-magnétiques. On l’a encore observé en accompagnant des sociétés d’autoroutes sur la question de la sécurité routière.

Cependant, cette ultrasécurité porte en elle certains signes annonciateurs d’une usure de fin de cycle industriel.

Le premier et le plus évident est le dur constat des chiffres bruts et de l’asymptote de sécurité. Ces systèmes ne progressent plus depuis des années. En aviation civile, par exemple, la sécurité du transport aérien de ligne régulière a atteint le (remarquable) niveau de sécurité actuel il y a plus de vingt ans déjà.

Ni l’incroyable progression des techniques (avions automatisés, évolution du contrôle aérien et des aides aux contrôleurs), ni les efforts continus de procéduralisation (davantage de procédures, davantage d’encadrement), ni la formation accrue des opérateurs n’ont permis d’améliorer ce niveau. On l’a vu avec la crise qui n’en finit pas chez Boeing avec son 737 Max après l’interdiction de vol de son avion vedette. Cette crise de Boeing reste un cas d’école de la communication de crise.

Bien sûr, la situation n’est plus comparable aux années 1970, et il existe des raisons de se féliciter des actions entreprises : le trafic a augmenté considérablement, le niveau de sécurité a résisté au déplacement du barycentre des compagnies vers l’Asie (où l’on craignait des effets d’inadaptation à la culture des avions occidentaux), les performances intrinsèques des machines ont augmenté significativement (meilleur rapport coût-performance de l’avion), les avions eux-mêmes sont plus sûrs en tant qu’objets considérés isolément (un avion automatisé démontre une sécurité deux ou trois fois supérieure à la génération précédente). Mais le fait est là : le grand système aéronautique est resté à l’étal de sécurité au niveau mondial avec un taux constant d’accident.

La capacité de survie du système est aussi affectée par une explosion du coût de l’accident et de la technologie, avec des effets de bords liés aux systèmes juridiques nationaux. Chez les assureurs, ce surcoût provoque une crise majeure susceptible de « tuer le système » : le coût moyen du décès d’un passager américain s’élève à plusieurs millions de dollars, tandis que, pour la même période, il n’est que de centaines de milliers d’euros pour la moyenne des passagers du reste du monde. On pourrait également citer le coût des réparations qui a doublé avec les nouvelles technologies (par exemple, la même réparation de réacteur après une absorption d’oiseaux en vol est passée de 0,4 million de dollars sur un Boeing 767 équipé de moteurs Rolls-Royce à 1,1 million de dollars sur le Boeing 777 doté de la dernière génération de moteurs Rolls-Royce). La situation est telle qu’aujourd’hui une simple mauvaise série de quatre accidents majeurs aux Etats-Unis, avec 600 morts en moins d’un an, un cas d’école tout à fait possible ramené aux 25 à 30 catastrophes mondiales par an et leurs 1 800 morts, suffirait à provoquer un surcoût de prime entraînant des faillites en séries pour les compagnies les plus fragiles.

Epée de Damoclès . En d’autres termes, la sécurité est une épée de Damoclès pour les hautes technologies, mais sur un mode largement inattendu : plus l’accident est rare, moins il est acceptable et plus il coûte un prix déraisonnable. Au point qu’un système moins sophistiqué, et chroniquement moins sûr, ne met pas autant en danger la survivabilité commerciale d’une industrie qu’un système ultra-sûr de haute technologie.

Incidemment, une nouvelle dimension du risque réside dans la mondialisation des techniques. Le contrôle du risque des grands systèmes macrotechniques est forcément supranational, car le risque passe les frontières avec les technologies les plus agressives (on est survolé tous les jours par toutes les compagnies du monde, les usines nucléaires de l’Europe de l’Est sont largement assez proches pour nous irradier en cas de problème grave, et les capitaux sont gérés à l’échelle mondiale, accélérant les pertes et les bénéfices). Mais l’homogénéité nécessaire du contrôle du risque ne résiste pas aux différences de situations socio-économiques des acteurs locaux, incapables pour la plupart de payer le même prix de sécurité, et parfois peu motivés culturellement pour le faire.

Tous ces systèmes ultrasûrs sont bâtis sur une optimisation progressive des logiques de sécurité. Cette stratégie, qui a été payante dans le passé, est parfois poussée à la caricature. Par exemple, une des idées les plus tenaces consiste à considérer que le système est pensé, conçu et calculé pour être quasi totalement sûr, mais qu’il n’arrive jamais à cette performance du fait des défaillances qu’il subit. L’objectif affiché est donc de combattre et de supprimer systématiquement toutes les défaillances, humaines ou techniques, que l’on a repérées dans le système. Cette pensée organise la sécurité dans les grands systèmes à risques, et elle sert aussi de fondement aux techniques de l’analyse des risques. Or, il n’est pas très difficile de démontrer que ces deux postulats de la sécurité moderne (penser que le système est sûr sans défaillance et chasser et supprimer les défaillances) ont progressivement enfermé la sécurité dans une voie sans issue. Cela a eu un impact sur la communication de crise et sur la gestion de crise.

Automatisation . Certes, ces postulats sont très efficaces et suffisants quand les gains de sécurité à réaliser sont encore importants, c’est-à-dire quand le système est loin d’être ultrasûr. Mais poussés à leur maximum ils deviennent circulaires. La suppression de toutes les erreurs humaines ne peut en effet avoir pour solution que la suppression de l’homme; l’automatisation est alors la (seule) solution pour atteindre cet objectif. Or, aujourd’hui, les systèmes automatisés ne sont sûrs qu’en intégrant l’homme comme ultime protection en cas de leur propre défaillance ! L’énoncé du paradoxe devient total en ajoutant un fait démontré depuis plus de dix ans: l’homme qui n’intervient plus dans la conduite manuelle du système, et qui ne peut plus commettre d’erreurs, perd ses repères de réglage du risque, et in fine son efficacité comme ultime rempart en cas de situation dégradée.

On l’a d’ailleurs régulièrement observé avec les comportements nuisibles des algorithmes complexes des transactions à haute fréquence (High‑frequency Trading) créant des paniques sur le marchés financiers et des mini krach boursiers dits « krachs techniques ».

De même, la défense du système s’appuie sur une hypothèse forte quant à la linéarité des causes d’accidents et d’incidents. Or, le suivi de sécurité de ces systèmes ne repose plus depuis longtemps sur les accidents, qui sont bien trop rares. Il repose sur l’identification de précurseurs (les incidents) et sur leur suppression systématique. Comme pour l’erreur humaine, le paradoxe est que la présence d’incidents limite et contingente la performance du système dans une zone de compromis.

La réduction massive des incidents entraîne mécaniquement une augmentation de la confiance dans le système, une réduction des marges et une élévation de la performance du système. On risque alors de (re)découvrir ce que de nombreuses recherches attestent déjà : la linéarité des causes d’accidents et d’incidents n’est pas totale, et la suppression des incidents mineurs, couplée à son corollaire d’augmentation des performances, risque fort de recréer des espaces pour la production de catastrophes d’un type nouveau.

Les incidents très sérieux et répétitifs du nucléaire japonais en 1997-1998 sont par exemple survenus comme d’immenses surprises dans un système se targuant d’être le plus sûr du monde parce qu’il produisait un nombre minimal d’incidents. Pour reprendre un thème déjà cher à Max Weber, le système sécrète sa propre insécurité en voulant être trop rationnel et trop sûr de lui ou dit autrement, un pilotage raisonnable de l’insécurité du système est nécessaire pour garantir sa sécurité maximale en réduisant ses ambitions de performance.

Cette quête absolue des défaillances a un autre côté pervers. Pour mieux les traquer, on est passé dans presque toutes les industries à risques de l’analyse des accidents à l’analyse des presque-accidents, puis aux incidents, puis aux presque-incidents, et maintenant aux simples erreurs qui n’ont pas eu de conséquences, mais qui sont toutes suspectées d’avoir un potentiel de risque.

Dans l’aviation professionnelle américaine, par exemple, le taux de rapports volontaires d’incidents mineurs est passé de 20 000 rapports annuels au début des années 1990 à plus de 65 000 rapports par an en 1998. Le résultat est un système de retour d’expérience énorme, coûteux, peu ou plus prédictif. De fait, il est chroniquement détourné de son intention première, la sécurité, pour servir des causes littéraires ou techniques. Sur ces très grandes bases de données, il suffit en effet de vouloir démontrer un point particulier pour (toujours) trouver quelques éléments qui confirment ce que l’on pense. On a ainsi pu faire dire successivement à la même base de données et en moins de cinq ans (base américaine ASRS, Aviation Safety Reporting System) que la première cause des incidents aéronautiques était due à des problèmes de communication, à des problèmes de décision, à des problèmes de pression temporelle, à l’organisation, ou encore à la mauvaise perception de la situation, en avançant chaque fois un faisceau d’arguments tout à fait convaincants.

Par ailleurs, les systèmes ultrasûrs ont une inertie d’action qui n’a d’égale que le côté abstrait des chiffres manipulés. Une sécurité évaluée à une catastrophe pour un million de mises en jeu du système échappe à la perception concrète de l’homme de la rue. Les conséquences de cet échappement sont multiples. On en citera deux majeures. Premièrement, le temps nécessaire pour évaluer sur le terrain, grâce aux chiffres d’accidents réels, l’efficacité d’une mesure censée améliorer la sécurité croît avec le niveau de sécurité. Il est de l’ordre de quatre ans à 10­5 et il dépasse six ans à 10­7. Ce temps échappe à la logique réactive des actions de sécurité. On modifie mille choses différentes en six ans, au gré des problèmes rencontrés, et on perd toute causalité entre action et résultat. Pis, les responsables de la sécurité veulent prouver leur efficacité dans un mandat qui, souvent, ne dépasse guère quelques années. La sécurité de ces systèmes ultrasûrs tend ainsi à devenir un objet à comportement « politique » plutôt que scientifique, en privilégiant les actions visibles à court terme, indémontrables en termes d’efficacité réelle, aux actions visibles à long terme, dont on pourrait imaginer la démonstration, mais qui quoiqu’il arrive seront au-delà du mandat de celui qui les a préconisées !

La seconde conséquence est encore plus surprenante. De manière totalement irrationnelle, chaque accident est en effet traité comme un cas à supprimer sans considérer la façon dont le système a été organisé. Par exemple, le règlement aéronautique (JAR/FAR 25) exige que les constructeurs démontrent que les pilotes automatiques des avions automatisés ne connaissent pas plus d’une défaillance catastrophique pour 10 millions de mises en jeu. Supposons qu’un seul cas de défaillance catastrophique de pilote automatique soit observé pour plus de 50 millions de mises en jeu. L’accident en question sera dans l’enveloppe acceptée par toutes les autorités et par le règlement. Pourtant, le système juridique et professionnel incriminera très probablement le constructeur, et trouvera même logique de demander à refaire tout le pilote automatique de cet avion. Plus grave encore, personne ne s’offusquera que le nouveau pilote automatique obéisse à un règlement inchangé et soit donc certifié avec le même niveau de risque que le précédent !

Incapables de progresser, mais tenus de le faire, ces systèmes vieillis se rapprochent insensiblement du point de bascule qui les tuera sous leur forme actuelle. Il suffit de peu de chose: une technologie de remplacement quasi-mature (par exemple, le guidage automatique total pour le contrôle aérien, ou les centrales à gaz pour l’énergie nucléaire), une usure sociale des acteurs du système technique avec une perte de confiance subjective dans la pilotabilité du risque, un « big one », accident emblématique à l’endroit et au moment médiatiquement sensible. Il n’en a pas fallu plus pour faire disparaître l’industrie des ballons dirigeables après l’accident du Hindenburg (Zeppelin). Il n’a même pas fallu ces conditions pour arrêter l’industrie nucléaire civile en Allemagne et en Suède.

Du strict point de vue commercial, ces systèmes sont donc en survie, ou plus simplement, ils sont en fin de cycle, comme l’ont été tous les systèmes qui les ont précédés à un moment de leur vie. Ainsi va l’histoire des techniques. Néanmoins, cette survie peut être longue pour trois raisons: le caractère mondial de ces systèmes crée un facteur de complexité surajoutée dans un changement radical de technologie; la solution de remplacement est coûteuse socialement à un moment où justement l’emploi est déterminant pour les décisions politiques la plupart des pays n’ont pas les moyens économiques, culturels et organisationnels d’un changement rapide.

Si ces systèmes sont appelés à persister, il faut donc leur garantir une capacité de survie correcte. Comment? Tout d’abord, en garantissant que le message de risque reste présent dans la société civile, c’est le rôle d’une agence de communication de crise à Paris comme la notre. La peur d’être mis en accusation a longtemps freiné l’industrie des grands systèmes dans sa volonté d’affichage de transparence des risques réels. Cette transparence est pourtant fondamentale pour que ces systèmes survivent, car elle conditionne un message pour le grand public démontrant que le risque ne peut pas être annulé, et qu’il faut vivre avec. Plus on masque les incidents et les risques, plus le grand public, les médias et les politiques peuvent tuer l’industrie par une réaction inappropriée à la catastrophe.

Perte de contrôle . En outre, la politique de sécurité doit faire des choix entre une sécurité qui améliore sans cesse la performance (suppression des petites erreurs, des petites pannes et défaillances diverses de l’organisation) et une sécurité qui empêche les grandes catastrophes. Entre ces deux sécurités, les espaces sont conceptuellement et techniquement disjoints quand les systèmes deviennent ultrasûrs. Le modèle de perte de contrôle catastrophique du système n’obéit pas à une simple extrapolation linéaire du modèle des petits incidents et des petites erreurs gênantes pour la performance. A trop les traiter, on optimise surtout la performance du système, on réduit les marges de contrôle et de récupération, et on crée les conditions des catastrophes.

Pour que ces systèmes puissent vivre avec le risque, l’erreur et la panne, tout en évitant la catastrophe, nous avons avancé le concept de la sécurité écologique. L’idée consiste à ne pas forcer l’opérateur ou le système à être exempt de dysfonctionnements, mais à se donner les moyens de vivre en sécurité avec des systèmes qui ne sont pas « nominaux ». Notre approche de la gestion des risques s’appuie sur une série d’études récentes sur des situations concrètes montrant à quel point le contrôle de l’erreur n’est pas la variable centrale pour un opérateur. Ce dernier ne cherche jamais à éviter toutes les erreurs, ni mêmes toutes les récupérer après identification. Son seul objectif est de rester maître de la situation, c’est- à-dire rester dans les marges acceptables de sécurité pour le niveau de performance visé. Quand l’opérateur commet trop d’erreurs, il réduit d’abord le niveau de performance visé avant de mieux contrôler ses erreurs. L’opérateur peut très bien admettre qu’il n’a pas tout compris de la situation (par exemple, l’explication d’un bruit anormal), avoir noté certaines erreurs sans les corriger (un bogue de présentation d’information, un oubli de remise à zéro d’un système, une erreur de sélection de circuit), et pour autant considérer qu’il peut continuer son travail sans risques. C’est même comme cela que le travail se déroule tous les jours dans toutes les industries.

Sécurité écologique . Les résultats des expérimentations au laboratoire et en situation réelle confirment ce modèle de sécurité écologique. On constate tout d’abord que les sujets produisent un flux d’erreur assez constant quel que soit leur niveau d’expertise, sauf pour les extrêmes débutants. Le taux moyen d’erreurs observé dans différentes situations varie peu; il se situe entre une à trois erreurs par heure selon les situations et leurs enjeux. Le nombre d’erreurs a tendance à baisser dans les situations les plus exigeantes mais, dans ce dernier cas, le taux de récupération a également tendance à s’effondrer.

En revanche, la nature des erreurs change avec l’expertise: les erreurs de routine augmentent avec l’expertise, alors que les erreurs de connaissance baissent. Par ailleurs, ce flux d’erreur est contrôlé: 75 % à 85 % des erreurs sont détectées. Les détections sont plus importantes pour les erreurs de routine que pour les erreurs de connaissance. Surtout, les sujets experts « laissent passer » de plus en plus d’erreurs sans conséquences pour le travail en cours. Plus d’un quart des erreurs non récupérées sont sans conséquences chez l’expert, alors que ce pourcentage est inférieur à 10 % chez les novices. Ce dernier résultat est un indice puissant que la variable régulatrice est le sentiment de maîtrise de la situation, et non le nombre d’erreurs par lui-même.

On peut modéliser à partir de ces résultats un domaine de performance des sujets borné par des limites hautes et basses. Ce domaine de performance se caractérise par des zones muettes (zones de conduite sûre, où le sujet pense qu’il a la maîtrise de la situation pour le niveau de performance visé) et des zones « turbulentes » aux approches du périmètre de perte de contrôle de la situation (le sujet reçoit des alarmes cognitives lui signalant le risque croissant de perte de contrôle pour ce niveau de performance). Ces signaux sont logiquement la cible d’un certain nombre d’actions de la sécurité, qui, plutôt que de tenter d’éliminer l’erreur, cherchent – en les renforçant – à augmenter le contrôle cognitif spontané du domaine de performance. Encore faut-il ne pas masquer ces signaux cognitifs (ce que font certains automatismes, provoquant une confiance excessive, pour augmenter le niveau de performance visé) et donner les moyens à l’opérateur de réellement contrôler son domaine de performance, c’est-à-dire l’autoriser à revoir et à refixer son niveau de performance à l’approche des limites. Les solutions d’automatisation excessive appauvrissent cette conscience de la situation et c’est sans doute la principale raison pour laquelle leurs effets s’épuisent.

Les systèmes ultrasûrs que nous connaissons seraient-ils condamnés à ne jamais franchir le niveau de sécurité actuelle? Le niveau de sécurité n’a pas de fin en soi, seules les techniques ont des optimums de sécurité. Il existe donc à coup sûr des solutions technologiques qui peuvent produire plus de sécurité et plus de performance. En aéronautique, on imagine par exemple que la conduite automatique par un système de guidage de tous les avions présents dans le ciel, sans intervention des pilotes, voire sans pilotes, pourrait garantir un facteur 10 d’amélioration de la sécurité. Mais ce maillage prendra du temps, coûtera cher et, on peut le prédire, sera victime d’accidents aussi rares que graves. Plus généralement, il faudra parvenir à gérer des risques croissants de désaccouplement entre l’homme et la technique : emplois réduits et élitistes, contrôles et compréhensions limités sur les machines, etc. Mais c’est là un autre domaine d’étude…