Честный прогноз? Как 180 метеорологов предоставляют «достаточно хорошие» данные о погоде

Что такое достаточно хороший прогноз погоды? Это вопрос, над которым большинство людей, вероятно, не особо задумываются, поскольку ответ кажется очевидным – точным. Но опять же, большинство людей не являются техническими директорами в DTN. Ларс Эве да, и его ответ может отличаться от ответов большинства людей. Имея в своем штате 180 метеорологов, предоставляющих прогнозы погоды по всему миру, ДТН — крупнейшая метеорологическая компания, о которой вы, вероятно, никогда не слышали.

Показательный пример: DTN не включен в прогноз ForecastWatch.

Обзор точности глобальных и региональных прогнозов погоды на 2017–2020 гг.В отчете оцениваются 17 поставщиков прогнозов погоды на основе комплексного набора критериев, а также тщательного сбора данных и методологии оценки. Так почему же компания, которая начала свою деятельность в 1980-х годах, обслуживает глобальную аудиторию и всегда уделяла большое внимание погоде, не оценивается?

• Смотрите также: Прогноз погоды и климата в США скоро станет намного лучше

Прогноз погоды как проблема больших данных и Интернета вещей

Название DTN расшифровывается как «Сеть цифровой передачи» и является намеком на то, что компания изначально представляла собой информационную службу для ферм, предоставляемую по радио. Со временем компания пошла на технологическую эволюцию, сосредоточилась на предоставлении так называемых «оперативных разведывательных услуг» для ряда отраслей и вышла на глобальный уровень.

Ранее Эве занимал руководящие должности в ряде корпораций, включая AMD, BMW и Oracle. Он твердо относится к данным, науке о данных и способности предоставлять ценную информацию для достижения лучших результатов. Эве назвал DTN глобальной компанией в области технологий, данных и аналитики, цель которой — предоставлять клиентам действенную информацию практически в реальном времени, чтобы они могли лучше вести свой бизнес.

Погода как услуга DTNПо мнению Эве, подход WAAS® следует рассматривать как важную часть более широкой цели. «У нас есть сотни инженеров, занимающихся не только прогнозированием погоды, но и аналитической информацией», — сказал Юэ. Он также пояснил, что DTN инвестирует в производство собственных прогнозов погоды, хотя по ряду причин может передать их на аутсорсинг.

По словам Эве, многие доступные службы прогнозирования погоды либо не являются глобальными, либо имеют недостатки в определенных областях, таких как разрешение изображений. DTN, добавил он, использует все общедоступные и многие частные данные для создания собственных прогнозов. DTN также дополняет эти данные собственными данными, поскольку владеет и управляет тысячами метеостанций по всему миру. Другие источники данных включают спутники и радары, метеозонды и самолеты, а также исторические данные.

Некоторыми примерами услуг более высокого порядка, которые обеспечивают прогнозы погоды DTN, могут быть анализ воздействия штормов и руководство по доставке. Анализ воздействия урагана используется коммунальными предприятиями для лучшего прогнозирования отключений электроэнергии и соответствующего планирования и укомплектования персоналом. Руководство по доставке используется судоходными компаниями для расчета оптимальных маршрутов для своих судов как с точки зрения безопасности, так и с точки зрения эффективности использования топлива.

В основе подхода лежит идея использования прогнозных технологий и данных DTN, а затем их объединения с данными, касающимися конкретных клиентов, для получения индивидуальной информации. Несмотря на то, что DTN также может предложить базовые услуги, чем конкретнее данные, тем лучше услуга, отметил Эве. Что это могут быть за данные? Все, что помогает моделям DTN работать лучше.

Это может быть положение или форма кораблей или состояние инфраструктурной сети. Фактически, поскольку такие концепции неоднократно используются в моделях DTN, компания движется в направлении подхода цифрового двойника, сказал Юэ.

Во многих отношениях прогнозирование погоды сегодня представляет собой действительно большую проблему с данными. В некоторой степени, добавил Эве, это также проблема Интернета вещей и интеграции данных, когда вы пытаетесь получить доступ, интегрировать и сохранить массив данных для дальнейшей обработки.

Как следствие, составление прогнозов погоды требует не только экспертных знаний в данной области. метеорологов, но и работа команды специалистов по данным, инженеров по обработке данных и специалистов по машинам. эксперты по обучению/DevOps. Как и в любой масштабной задаче, связанной с большими данными и наукой о данных, существует компромисс между точностью и жизнеспособностью.

• Лучшие технологии для экстремальных погодных условий 2022 года: оборудование для отключения электроэнергии

Достаточно хороший прогноз погоды в масштабе

Как и большинству технических директоров, Эве нравится работать с технологиями, но ему также необходимо знать деловую сторону дела. Поддерживать правильную или «достаточно хорошую» точность, не срезая углы и в то же время делая это финансово жизнеспособным, является очень сложной задачей. DTN подходит к этому разными способами.

Один из способов — уменьшить избыточность. Как объяснил Эве, со временем, в результате слияний и поглощений, DTN стала владеть более чем пятью системами прогнозирования. Как это обычно бывает, у каждого из них были свои сильные и слабые стороны. Команда DTN взяла лучшие элементы каждого из них и объединила их в одну глобальную систему прогнозирования.

Другой способ — оптимизация оборудования и снижение связанных с этим затрат. DTN работала с AWS для разработки новых экземпляров аппаратного обеспечения, соответствующих потребностям этого очень требовательного варианта использования. Используя новые экземпляры AWS, DTN может запускать модели прогнозирования погоды по требованию, с беспрецедентной скоростью и масштабом.

Раньше было возможно запускать модели прогноза погоды только через определенные промежутки времени, один или два раза в день, поскольку их запуск занимал несколько часов. По словам Эве, теперь модели могут запускаться по запросу, генерируя часовой глобальный прогноз примерно за минуту. Не менее важным, однако, является тот факт, что такие экземпляры более экономичны в использовании.

Что касается реальной науки о том, как работают модели DTN, они содержат как модели машинного обучения, основанные на данных, так и модели, включающие опыт в области метеорологии. Эве отметил, что DTN использует ансамблевый подход, запуская различные модели и взвешивая их по мере необходимости для получения окончательного результата.

Однако этот результат не является бинарным — например, дождь или отсутствие дождя. Скорее, он является вероятностным, то есть присваивает вероятности потенциальным результатам - например, 80% вероятность 6 ветров Бофорта. Причина этого связана с тем, для чего используются эти прогнозы: для оперативной разведки.

Это означает помощь клиентам в принятии решений: следует ли эвакуировать эту морскую буровую установку или нет? Следует ли изменить маршрут этого корабля или этого самолета или нет? Стоит ли проводить это спортивное мероприятие или нет?

По словам Эве, ансамблевый подход является ключевым моментом в возможности учитывать прогнозы в уравнении риска. Петли обратной связи и автоматизация выбора правильных моделей с правильным весом в правильных обстоятельствах — это то, над чем активно работает DTN.

Здесь также проявляется аспект «достаточно хорошо». Реальная ценность, как выразился Эве, заключается в дальнейшем использовании прогнозов, генерируемых этими моделями. «Вы должны быть очень осторожны в балансировании уровней инвестиций, потому что погода — это всего лишь один входной параметр для следующей последующей модели. Иногда эта дополнительная полградуса точности может даже не иметь значения для следующей модели. Иногда это так».

Завершив круг, Эве отметил, что внимание DTN сосредоточено на повседневной работе компании со своими клиентами. и как погода влияет на эти операции и обеспечивает высочайший уровень безопасности и денежной отдачи для клиенты. «Это оказалось гораздо более ценным, чем проверка точности наших прогнозов третьей стороной. Наше ежедневное взаимодействие с клиентами определяет, насколько точны и ценны наши прогнозы».