Для того, чтобы поисковые боты не индексировали staging среду, в «Config Map» Ingress‘а добавим следующий блок:
http-snippet: |
map $http_user_agent $search_bots {
default 0;
~*(google|bing|yandex|msnbot) 1;
}
Затем в для каждого ресурса, которому нужно запретить индексирование в Ingress добавим следующий блок:
nginx.ingress.kubernetes.io/server-snippet: |
if ($search_bots = 1) {
return 403;
}
Для проверки можно воспользоваться утилитой cURL
curl -L -A "Googlebot/2.1 (+http://www.google.com/bot.html)" your_site.com