Des prévisions justes? Comment 180 météorologues fournissent des données météorologiques « suffisamment bonnes »

Qu'est-ce qu'une prévision météo suffisamment bonne? C’est une question à laquelle la plupart des gens ne réfléchissent probablement pas beaucoup, car la réponse semble évidente – et précise. Mais là encore, la plupart des gens ne sont pas CTO chez DTN. Lars Ewe l'est, et sa réponse peut être différente de celle de la plupart des gens. Avec 180 météorologues qui fournissent des prévisions météorologiques dans le monde entier, DTN est la plus grande entreprise météorologique dont vous n'avez probablement jamais entendu parler.

Exemple concret: DTN n'est pas inclus dans "Aperçu de la précision des prévisions météorologiques mondiales et régionales 2017 - 2020" Le rapport évalue 17 fournisseurs de prévisions météorologiques selon un ensemble complet de critères et une méthodologie approfondie de collecte et d'évaluation de données. Alors, comment se fait-il qu’une entreprise qui a débuté dans les années 1980, dessert un public mondial et a toujours mis l’accent sur la météo, ne soit pas évaluée ?

• Voir également: La météo aux États-Unis et les prévisions climatiques sont sur le point de s'améliorer

Les prévisions météorologiques en tant que problème du Big Data et de l'Internet des objets

Le nom de DTN signifie « Digital Transmission Network » et est un clin d'œil aux origines de l'entreprise en tant que service d'information agricole diffusé par radio. Au fil du temps, l'entreprise a adopté l'évolution technologique, s'est orientée vers la fourniture de ce qu'elle appelle des « services de renseignement opérationnel » pour un certain nombre d'industries et est devenue mondiale.

Ewe a déjà occupé des postes de direction dans diverses sociétés, notamment AMD, BMW et Oracle. Il est attaché aux données, à la science des données et à la capacité de fournir des informations pour obtenir de meilleurs résultats. Ewe a qualifié DTN de société mondiale de technologie, de données et d'analyse, dont l'objectif est de fournir des informations exploitables en temps quasi réel aux clients afin de mieux gérer leur entreprise.

La météo en tant que service de DTN® (WAAS®) devrait être considérée comme un élément important de l'objectif plus large, selon Ewe. "Nous avons des centaines d'ingénieurs qui se consacrent non seulement aux prévisions météorologiques, mais aussi aux informations", a déclaré Ewe. Il a également expliqué que DTN investit dans la production de ses propres prévisions météorologiques, même si elle peut les sous-traiter, pour plusieurs raisons.

De nombreux services de prévisions météorologiques disponibles ne sont pas mondiaux ou présentent des faiblesses dans certains domaines tels que la résolution des images, selon Ewe. DTN, a-t-il ajouté, exploite toutes les données accessibles au public et de nombreuses données propriétaires pour générer ses propres prédictions. DTN enrichit également ces données avec ses propres entrées de données, car il possède et exploite des milliers de stations météorologiques dans le monde. Les autres sources de données incluent les satellites et les radars, les ballons météorologiques et les avions, ainsi que les données historiques.

Quelques exemples de services d'ordre supérieur fournis par les prévisions météorologiques du DTN seraient l'analyse de l'impact des tempêtes et le guidage des expéditions. L'analyse de l'impact des tempêtes est utilisée par les services publics pour mieux prévoir les pannes, planifier et recruter en conséquence. Le guidage maritime est utilisé par les compagnies maritimes pour calculer les itinéraires optimaux pour leurs navires, à la fois du point de vue de la sécurité, mais également du point de vue de l'efficacité énergétique.

Au cœur de l'approche se trouve l'idée de prendre la technologie et les données de prévision de DTN, puis de les fusionner avec des données spécifiques au client pour fournir des informations personnalisées. Même s'il existe des services de base que DTN peut également offrir, plus les données sont spécifiques, meilleur est le service, a noté Ewe. Quelles pourraient être ces données? Tout ce qui aide les modèles DTN à mieux fonctionner.

Il peut s'agir de la position ou de la forme des navires ou de l'état du réseau d'infrastructures. En fait, étant donné que de tels concepts sont utilisés à plusieurs reprises dans les modèles de DTN, la société s'oriente vers une approche de jumeau numérique, a déclaré Ewe.

À bien des égards, les prévisions météorologiques actuelles sont en réalité un problème lié au Big Data. Dans une certaine mesure, a ajouté Ewe, il s'agit également d'un problème d'Internet des objets et d'intégration de données, dans lequel vous essayez d'accéder, d'intégrer et de stocker un ensemble de données pour un traitement ultérieur.

En conséquence, la production de prévisions météorologiques n’implique pas seulement l’expertise du domaine météorologues, mais aussi le travail d'une équipe de data scientists, d'ingénieurs de données et de machines experts en apprentissage/DevOps. Comme pour toute tâche de Big Data et de science des données à grande échelle, il existe un compromis entre précision et viabilité.

• Meilleure technologie pour conditions météorologiques extrêmes 2022: équipement de coupure de courant

Des prévisions météorologiques suffisamment bonnes à grande échelle

Comme la plupart des CTO, Ewe aime travailler avec la technologie, mais doit également être conscient de l’aspect commercial des choses. Maintenir une précision juste, ou « assez bonne », sans rogner sur les raccourcis tout en rendant cela financièrement viable est un exercice très complexe. DTN aborde ce problème de plusieurs manières.

Une solution consiste à réduire la redondance. Comme l’explique Ewe, au fil du temps et via des fusions et acquisitions, DTN est devenu propriétaire de plus de cinq moteurs de prévision. Comme c’est souvent le cas, chacun d’entre eux avait ses forces et ses faiblesses. L'équipe DTN a pris les meilleurs éléments de chacun et les a regroupés dans un seul moteur de prévision mondial.

Une autre solution consiste à optimiser le matériel et à réduire les coûts associés. DTN a travaillé avec AWS développer de nouvelles instances matérielles adaptées aux besoins de ce cas d'utilisation très exigeant. Grâce aux nouvelles instances AWS, DTN peut exécuter des modèles de prévisions météorologiques à la demande et à une vitesse et à une échelle sans précédent.

Dans le passé, il n'était possible d'exécuter des modèles de prévisions météorologiques qu'à intervalles définis, une ou deux fois par jour, car leur exécution prenait des heures. Désormais, les modèles peuvent fonctionner à la demande, générant une prévision globale d'une heure en une minute environ, selon Ewe. Cependant, il est tout aussi important que ces instances soient plus économiques à utiliser.

Quant à la science réelle du fonctionnement du modèle DTN, ils contiennent à la fois des modèles d'apprentissage automatique basés sur les données, ainsi que des modèles intégrant une expertise dans le domaine de la météorologie. Ewe a noté que DTN adopte une approche globale, exécutant différents modèles et les pesant selon les besoins pour produire un résultat final.

Ce résultat n’est cependant pas binaire: pluie ou pas pluie, par exemple. Il est plutôt probabiliste, ce qui signifie qu’il attribue des probabilités aux résultats potentiels – 80 % de probabilité de 6 vents de Beaufort, par exemple. Le raisonnement derrière cela est lié à l’utilisation de ces prédictions: le renseignement opérationnel.

Cela signifie aider les clients à prendre des décisions: cette installation de forage offshore doit-elle être évacuée ou non? Ce navire ou cet avion doivent-ils être déroutés ou non? Cet événement sportif doit-il avoir lieu ou non ?

L'approche d'ensemble est essentielle pour pouvoir prendre en compte les prédictions dans l'équation du risque, selon Ewe. Les boucles de rétroaction et l'automatisation du choix des bons modèles avec les bons poids dans les bonnes circonstances sont les domaines sur lesquels DTN travaille activement.

C’est aussi là qu’intervient l’aspect « assez bien ». La vraie valeur, comme le dit Ewe, réside dans la consommation en aval des prédictions générées par ces modèles. "Vous devez être très prudent dans la façon dont vous équilibrez vos niveaux d'investissement, car la météo n'est qu'un paramètre d'entrée pour le prochain modèle en aval. Parfois, ce demi-degré de précision supplémentaire peut même ne pas faire de différence pour le modèle suivant. Parfois, c'est le cas."

Bouclant la boucle, Ewe a noté que l'attention de DTN est concentrée sur les opérations quotidiennes de l'entreprise auprès de ses clients, et comment les conditions météorologiques affectent ces opérations et permettent le plus haut niveau de sécurité et de rendement monétaire pour clients. "Cela s'est avéré bien plus utile que de demander à un tiers externe de mesurer l'exactitude de nos prévisions. C'est notre interaction quotidienne avec nos clients qui mesure la précision et la valeur de nos prévisions. »