По умолчанию Jenkins использует язык настроек вашего браузера. Для того, чтобы принудительно его поменять можно воспользоваться плагином Locale
Переходим в настройки Jenkins'а
Раздел "Управление плагинами"
Переходим к вкладке "Доступные" и в поиске указываем "Locale"
Устанавливаем его. И возвращаемся в настройки Jenkins'а, вкладка "Конфигурация системы"
Находим блок "Locale" и указываем необходимый язык. Так же ставим галочку, чтобы игнорировать настройки браузера.
Готово. Сохраняем изменения.