Обход обычной автоматизации позволяет обойти проверки безопасности.
Из-за инженерной ошибки в прошлый понедельник некоторые части Google Cloud потеряли соединение с клиентом в прошлый понедельник примерно на 70 минут после того, как Google сетевые инженеры вручную подключили новый пиринговый канал, минуя систему автоматических проверок, проверяющих такие каналы при выполнении соответствующих процедур. последовал.
Из-за ошибки регион Europe-west1 Google Compute Engine стал недоступен из некоторых пунктов назначения, в первую очередь из Восточной Европы и Ближнего Востока. Проблема была исключительно в сети и не затрагивала экземпляры Compute Engine в том же регионе в других местах. Трафик строго внутри сети Google также не пострадал.
Проблема была вызвана добавлением новой ссылки на глобальный узел, с которым уже был связан Google. Инженеры подключили канал вручную, не осознавая, что он будет рекламировать гораздо большую пропускную способность, чем было на самом деле доступно. Сетевые системы автоматически перенаправляли трафик на новый, казалось бы, высокопроизводительный канал, и через четыре минуты после канал был создан, он был насыщен и начал терять большую часть сетевого трафика, маршрутизируемого через связь.
Этот процесс выполнялся вручную, поскольку автоматизация, которая обычно обрабатывала бы ссылку и связанные с ней проверки безопасности, по данным Google, была отключена из-за несвязанного сбоя. Ожидается, что эта автоматизация защитит сеть от проблем, подобных той, которая произошла в течение одного часа. Из-за проблем с автоматизацией проблема не была обнаружена в течение 61 минуты, поскольку проверки после активации, которые обычно были выполнены в течение этого часа, были недоступны, и проблема была обнаружена, когда начался обычный мониторинг системы. над.
Чтобы предотвратить повторение этой конкретной проблемы, Google меняет свою операционную политику и больше не разрешает создавать эти ссылки вручную. В будущем система автоматизации должна быть полностью работоспособной, прежде чем будут добавлены дополнительные ссылки.