Знаю, что подобные вопросы уже были ранее. У меня вопрос чуть развернутее :)
Значит, что имеем:
Python + Selenium + Pytest + Jenkins
Моя задача:
Реализовать механизм проверки сервера на доступность, перед запуском тестов. Ибо надоело, когда при недоступности сервака, все тесты начинают фейлится градом :) Хочется реализовать эту проверку, чтобы перед тестами все уже было проверенно. И ко всему прочему, чтобы сборка в Jenkins падала при недоступности сервака. Очень хотелось бы сделать все на стороне кода, а не Jenkins, чтобы проект было легко переносить.
Работает все так:
Jenkins запускает собирает и запускает код. Перед тестами запускаются фикстуры, потом идут сами тесты.
Моя реализация фикстуры(запускается перед тестами):
import pytest
import logging
import allure
import config
import requests
@pytest.fixture(scope="session", autouse=True)
def f2_check_connection_to_server():
""" Фикстура для проверки доступа к серверу.
Если фикстура обнаружила, что сервер недоступен, тесты не запускаются.
"""
logging.info('Проверка доступности сайта')
with allure.step('Проверяю доступность сайта'):
url = f'{config.MAIN_URL}api/check_email/qweqwe@123q132.ru'
logging.info('Производится запрос на сервер')
response = requests.get(url, timeout=5)
if not response.status_code:
logging.critical(f'Сервер недоступен. Тесты остановлены.\nURL: {url}')
pytest.exit(f'Сервер недоступен. Тесты остановлены.\nURL: {url}')
logging.info('Ответ получен. Сайт доступен.')
Вот моя реализация. В принципе она меня устраивает. Этот вариант был написан за 5 минут на коленке(часть кода вырезана).
Проблема:
Суть проблемы в том, что при запуске тестов в Jenkins, если эта проверка не прошла, Jenkins не фейлит сборку и с виду все хорошо. А это неудобно, и ручные тестеры не понимают что происходит... Вроде написано успешно, а вроде тесты по отчетам не проходили. Объяснять как смотреть лог бесполезно :)
Вот как получается по логу(обратите внимание, в конце SUCCESS):
_pytest.outcomes.Exit: Сервер недоступен. Тесты остановлены.
URL: http://*****/api/check_email/qweqwe@123q132.ru
no tests ran in 8.37 seconds
Exit: Сервер недоступен. Тесты остановлены.
URL: http://*****/api/check_email/qweqwe@123q132.ru
Report successfully generated to /var/lib/jenkins/workspace/*****/allure-report
Allure report was successfully generated.
Creating artifact for the build.
Artifact was added to the build.
Finished: SUCCESS
Какие у меня варианты:
1. Создавать переменную окружения в коде о результате тестов, чтобы потом ее проверял Jenkins(неплохое решение).
2. Использовать плагин для Jenkins, который будет искать в логе текст "Сервер недоступен. Тесты остановлены." и валить сборку(решение среднее ибо плагин не умеет фейлить сборку, а только делает ее нестабильной).
3. Вместо pytest.exit использовать pytest.fail(решение среднее ибо тогда падение присваивается самому первому тесту, хотя он даже не отработал).
Вот как-то так. Хотелось бы услышать какие есть еще варианты, в головах умных людей :)