← Cloudflare Magic Transit / magic-transit / troubleshooting

Устранение неполадок маршрутизации и BGP

Это руководство поможет диагностировать и устранять распространённые проблемы маршрутизации и BGP в Magic Transit. Такие проблемы могут нарушать доставку трафика, вызывать неожиданные задержки или приводить к потере соединения.

Если у вас возникли проблемы с маршрутизацией или BGP, для начала проверьте следующее:

1. Состояние сессии BGP: убедитесь, что сессия Установлено, а не застряло в Подключить или Активно.
2. Правила Firewall: Убедитесь, что порт TCP 179 разрешено в обоих направлениях между вашим маршрутизатором и Cloudflare.
3. Статус анонсирования префикса: Убедитесь, что префиксы отображаются Анонсировано в панели управления, а не Отозван или Утверждено.
4. Время распространения маршрута: Подождите от двух до пяти минут, пока изменения распространятся по всему миру. Cloudflare применяет изменения в течение нескольких минут, но не может повлиять на скорость обновления таблиц BGP у внешних провайдеров.
5. Работоспособность туннеля или CNI: Убедитесь, что базовое подключение исправно. Туннели со статусом Degraded влияют на приоритет маршрута.
6. Конфликты статических маршрутов: При равном приоритете статические маршруты имеют преимущество перед маршрутами BGP.

Когда вы анонсируете или отзываете префикс BYOIP, изменения распространяются по сети Cloudflare в течение нескольких минут.

Когда маршрут отзывается, сети интернета выполняют BGP path hunting: они ищут альтернативные пути, прежде чем перейти к новому состоянию маршрутизации. Этот эффект усиливается следующими факторами:

• глобальную anycast-сеть Cloudflare и обширные пиринговые связи
• Minimum Route Advertisement Interval (MRAI), как правило, 30 секунд на итерацию
• Несколько сетей уровня Tier-1, которым требуется независимая конвергенция

Во время поиска маршрута трафик может направляться неоптимальным путём или отбрасываться полностью.

См. Безопасно отзовите префикс BYOIP для рекомендуемой процедуры.

Этот раздел посвящен сеансам пиринга BGP (бета) между вашей сетью и Cloudflare, устанавливаемым через CNI или туннелей. Эти сеансы не связаны с тем, как Cloudflare анонсирует ваши префиксы в интернете, это описано в Время распространения маршрута.

• Сессия BGP так и не достигает Установлено состояние
• Маршруты не анонсируются и не принимаются
• В журналах маршрутизатора отображаются повторные попытки подключения

1. Убедитесь, что брандмауэр разрешает TCP-порт 179 в обоих направлениях между вашим маршрутизатором и адресом пиринга Cloudflare.
2. Убедитесь, что IP-адрес соседа точно совпадает с адресом пиринга, предоставленным Cloudflare.
3. Убедитесь, что конфигурация вашего ASN соответствует настройкам панели управления. Поддерживается только eBGP, поэтому ваш ASN должен отличаться от ASN аккаунта Cloudflare.
4. При использовании аутентификации MD5 убедитесь, что пароль совпадает на обеих сторонах.

• На панели управления префикс отображается как Анонсировано
• Внешние хосты не могут обращаться к IP-адресам в этом префиксе
• Трафик отбрасывается

• Распространение маршрута ещё не завершено
• Отсутствие маршрутизации обратного пути в вашей сети
• Проблемы валидации ROA/RPKI у вышестоящих интернет-провайдеров

1. Дождитесь распространения изменений: Подождите до пяти минут для полного глобального распространения. В сети Cloudflare изменения применяются быстро, но внешние сети обновляются с разной скоростью.
2. Проверка маршрутизации обратного пути: Убедитесь, что в вашей сети настроены маршруты для отправки обратного трафика через Cloudflare при конфигурациях с egress. Для конфигураций только с ingress или с прямым возвратом от сервера направляйте обратный трафик через свои туннели.
3. Проверьте внешнюю видимость: используйте инструменты BGP looking glass, такие как bgp.he.net ↗ или RIPE RIS ↗ чтобы убедиться, что ваш префикс виден из внешних сетей.
4. Проверка конфигурации RPKI: Если вы используете инфраструктуру открытых ключей ресурсов (Resource Public Key Infrastructure, RPKI), убедитесь, что записи авторизации источника маршрута (Route Origin Authorization, ROA) соответствуют вашему префиксу и настройке ASN в Cloudflare.

• Префикс отозван через API или панель управления
• Внешний трафик продолжает поступать в Cloudflare, но отбрасывается
• Потеря связи сохраняется в течение нескольких минут после отзыва маршрута

Это поведение известно как BGP path hunting. Когда Cloudflare отзывает ваш префикс, сети интернета ищут альтернативные маршруты. Как правило, конвергенция занимает от двух до пяти минут, но иногда превышает 11 минут. В этот период трафик может:

• Маршрутизация к Cloudflare через кешированные пути у интернет-провайдеров
• Петля между провайдерами уровня Tier-1, маршруты которых ещё не сошлись
• Быть отброшены, не дойдя до вашей сети

Следуйте процедуре безопасного отзыва префиксов:

1. До отзыва: Анонсируйте тот же префикс (той же длины) через альтернативного провайдера. Это сразу даёт BGP альтернативный путь.
2. Необязательно - понижение приоритета Cloudflare: Добавьте AS prepend к маршруту Cloudflare, чтобы сделать его менее предпочтительным и обеспечить постепенный переход трафика.
3. Отзыв из Cloudflare: Запросите отзыв анонса префикса через API или Dashboard.
4. Дождитесь конвергенции: Подождите не менее 15 минут, прежде чем считать миграцию завершённой.

Использование префиксов одинаковой длины у Cloudflare и вашего интернет-провайдера предотвращает path hunting. У сети сразу появляется доступный альтернативный маршрут.

См. Безопасно отзовите префикс BYOIP для подробных инструкций.

• Трафик из определенных регионов, направляемый через удаленные центры обработки данных
• Задержка выше ожидаемой для пользователей в регионе
• Трафик не использует ближайший туннель или CNI

• Ухудшение работоспособности туннеля, приводящее к понижению приоритета маршрута
• Неправильная настройка региональной области действия маршрутов
• Приоритеты маршрутов BGP заданы не так, как ожидалось
• Статические маршруты, переопределяющие маршруты BGP

1. Проверьте состояние туннеля: К приоритету маршрута туннелей со статусом Degraded добавляется 500,000. Для туннелей со статусом Down добавляется 1,000,000. Трафик переключается на более исправные пути, которые могут находиться в других регионах. См. Устранение неполадок состояния туннеля для шагов диагностики.

2. Проверить приоритеты маршрутов: Более низкие значения приоритета означают более высокий приоритет. Проверьте, что для ваших маршрутов настроен ожидаемый приоритет.

   • Приоритет маршрута BGP по умолчанию: 100
   • Статические маршруты с приоритетом 100 имеют приоритет над маршрутами BGP на 100

3. Проверить региональную область действия: Если вы используете маршруты, привязанные к региону, убедитесь, что все регионы охвачены маршрутами. Трафик, поступающий в регион без подходящего маршрута, отбрасывается.

4. Используйте Network Analytics: Изучите шаблоны трафика, чтобы определить, куда он поступает и по каким путям проходит. См. Network Analytics для инструкций по использованию.

• CNI отображается в панели управления как неактивный
• Сессия BGP через CNI обрывается
• Трафик переключается на туннели или альтернативные CNI

Проблемы CNI могут возникать на нескольких уровнях:

Исправное физическое соединение всё же может иметь проблемы с BGP. Исправная сессия BGP может существовать, даже если отдельные префиксы отозваны.

Проверить физический уровень (со своей стороны):

1. Убедитесь, что интерфейс на вашем маршрутизаторе административно включён.
2. Проверьте уровни оптического сигнала (Tx/Rx dBm). Аномальные показания указывают на проблемы с оптоволокном или трансивером.
3. Если уровень сигнала на приёмной стороне низкий или отсутствует, обратитесь в свой дата-центр, чтобы проверить состояние кросс-коннекта.

Проверить сессию BGP:

1. Убедитесь, что состояние соседа BGP на вашем маршрутизаторе отображается как Установлено.
2. Если аутентификация настроена, проверьте отсутствие несовпадений MD5-аутентификации.
3. Проверьте журналы BGP на наличие сообщений об ошибках, объясняющих, почему сессия могла быть разорвана.

Проверить наличие технического обслуживания:

1. Проверьте Cloudflare Status ↗ для планового обслуживания, затрагивающего ваше местоположение CNI.
2. Некоторые события обслуживания могут временно влиять на подключение CNI, даже если они помечены как не нарушающие работу.

См. Network Interconnect для получения сведений о настройке и установке CNI.

• Маршруты BGP не используются, несмотря на то что они получены
• Трафик не следует ожидаемому маршруту BGP
• Изменения маршрута не применяются, как ожидалось

Если статический маршрут и маршрут BGP имеют одинаковый префикс и приоритет, Cloudflare отдаёт предпочтение статическому. Это гарантирует, что маршруты, настроенные вручную, имеют приоритет, если только их приоритет явно не понижен.

Настройте приоритеты маршрутов по своему усмотрению:

• Чтобы отдавать приоритет маршрутам BGP: Задайте более высокое значение приоритета статического маршрута (например, 150 или 200). Чем выше число, тем ниже приоритет.
• Чтобы отдавать приоритет статическим маршрутам: Поддерживайте приоритет статического маршрута на уровне или ниже 100. Маршруты BGP по умолчанию имеют приоритет 100.

Чтобы сделать маршрут BGP предпочтительным в этом примере, измените приоритет статического маршрута на 150 или выше, либо полностью удалите статический маршрут.

См. Приоритизация маршрутов для подробной информации о том, как работают приоритеты.

Знание взаимосвязи между этими компонентами помогает диагностировать проблемы с маршрутизацией:

CNI со статусом Healthy может иметь туннель, не находящийся в статусе Healthy, если зонды проверки работоспособности заблокированы или настроены неверно. Маршруты BGP могут быть отозваны, даже если базовое физическое соединение работает исправно.

Если вы уже прошли это руководство, но у вас по-прежнему возникают проблемы с маршрутизацией, соберите следующую информацию, прежде чем обращаться в службу поддержки Cloudflare.

1. Account ID и затронутые префиксы, имена туннелей или идентификаторы CNI
2. Временные метки (по UTC), когда возникла проблема
3. Сведения о конфигурации BGP:
   • Ваш ASN и пиринговый ASN Cloudflare
   • IP-адреса соседей
   • Очищенная конфигурация маршрутизатора (без паролей и ключей)
4. Информация о текущем состоянии:
   • Состояние сессии BGP на вашем маршрутизаторе
   • Снимки экрана панели управления с префиксом, маршрутом или статусом туннеля

• Видимость BGP извне: Результаты инструментов Looking Glass, показывающие ваш префикс
• Журналы маршрутизатора: Журналы соседей BGP за период инцидента
• Результаты Traceroute: От затронутых исходных сетей к вашему префиксу
• Проблемы с CNI: Показания уровня оптического сигнала с вашего оборудования

Соберите вывод следующих команд (синтаксис зависит от производителя):

# Show BGP neighbor status
show bgp neighbors

# Show BGP summary
show bgp ipv4 unicast summary

# Show specific prefix in BGP table
show bgp ipv4 unicast <YOUR_PREFIX>

# Show interface status (for CNI)
show interface <YOUR_INTERFACE_NAME>

# Show received and advertised routes
show bgp ipv4 unicast neighbors <YOUR_NEIGHBOR_IP> routes
show bgp ipv4 unicast neighbors <YOUR_NEIGHBOR_IP> advertised-routes

• Управление трафиком: Приоритизация маршрутов, BGP-сообщества и поведение ECMP
• Анонсирование префиксов: Методы управления BGP и процедуры безопасного отзыва анонсов
• Настройка маршрутов: Настройка статического маршрута
• Network Interconnect: Настройка CNI и пиринг BGP
• Устранение неполадок состояния туннеля: Действия по диагностике, специфичные для туннеля
• Network Analytics: Анализ и мониторинг трафика
• Cloudflare Status ↗: Уведомления об обслуживании и инцидентах