2

Тесты выполняются очень долго. Например, есть итог работы PHPUnit:

Time: 669.95 seconds, Memory: 34.00MB

OK, but incomplete, skipped, or risky tests!
Tests: 4990, Assertions: 18999, Skipped: 218.

Как можно узнать, куда ушло время? Какие тесты самые долгие?

Можно ли такую информацию получить без установки и использования посторонних утилит? Идеально, чтобы информация о длинных тестах показывалась прямо после или во время выполнения тестов, еще лучше чтобы данные были доступны программно. Чем проще - тем лучше.

В ключах для запуска PHPUnit ничего похожего нет.

4
  • подключить allure, посмотреть диаграмму
    – etki
    23 дек 2017 в 3:01
  • Из документации на эту программу не очевидно, какую именно диаграмму смотреть. Может она выводить такую информацию сразу после запуска теста? А после CI может писать в лог данных о долгих тестов?
    – sanmai
    24 дек 2017 в 13:51
  • нет, она просто генерирует HTML-отчет, в который выводится в том числе таймлайн выполнения
    – etki
    24 дек 2017 в 14:03
  • phpunit -vvv покажет более подробно, чем он занимается в конкретный момент. Возможно, будет сразу видно, что тормозит
    – ilyaplot
    26 дек 2017 в 12:16

3 ответа 3

1
+100

В документации к phpunit можно найти сразу два штатных варианта на выбор:

XML лог

Включенное логирование, например, опцией --log-junit log.xml запишет в XML лог в том числе время выполнения каждого теста. Структура документа простая, добавить любую дальнейшую обработку проблемой быть не должно. Пример лога из документации:

<?xml version="1.0" encoding="UTF-8"?>
<testsuites>
  <testsuite name="ArrayTest"
             file="/home/sb/ArrayTest.php"
             tests="2"
             assertions="2"
             failures="0"
             errors="0"
             time="0.016030">
    <testcase name="testNewArrayIsEmpty"
              class="ArrayTest"
              file="/home/sb/ArrayTest.php"
              line="6"
              assertions="1"
              time="0.008044"/>
    <testcase name="testArrayContainsAnElement"
              class="ArrayTest"
              file="/home/sb/ArrayTest.php"
              line="15"
              assertions="1"
              time="0.007986"/>
  </testsuite>
</testsuites>

Атрибут time - время выполнения в секундах.

Кстати, проверьте, может ваш CI вообще этот лог сам понимать умеет, либо понимает рядом лежащие форматы --log-teamcity или --testdox-xml - там время выполнения есть тоже.

Добавить listener на события

События startTest и endTest вполне себе предоставляются. В общем-то даже одного endTest достаточно, ему вторым параметром время выполнения теста передаётся уже в готовом виде.

<?php

use PHPUnit\Framework\BaseTestListener;

class SimpleTestListener extends BaseTestListener
{
    public function endTest(PHPUnit_Framework_Test $test, $time)
    {
        echo 'Test ', $test->getName(), ' completed in ', $time, ' sec', PHP_EOL;
    }
}

И зарегистрировать его в конфиге phpunit:

<phpunit
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:noNamespaceSchemaLocation="https://schema.phpunit.de/6.3/phpunit.xsd">
  <listeners>
    <listener class="SimpleTestListener" file="/some/path/to/SimpleTestListener.php">
    </listener>
  </listeners>
</phpunit>

Осталось только решить, что и куда из этого listener'а выводить. Больше возможностей делать что угодно, но добавить после вызова phpunit маленькую программку чтения xml вероятно будет быстрее и проще.

4
  • Как раз последним вариантом я пользуюсь. У вас точно классы в ответе не перепутаны?
    – sanmai
    25 дек 2017 в 9:52
  • какой с каким классы? Вроде работает локально, время пишет. 25 дек 2017 в 10:03
  • PHPUnit_Framework_BaseTestListener и PHPUnit\Framework\BaseTestListener
    – sanmai
    26 дек 2017 в 5:34
  • Фактически это одно и то же, ForwardCompatibility класс-заглушка, но да, лучше на psr4 вариант заменю. 26 дек 2017 в 7:45
1

Я предлагаю использовать Allure Framework - специальный фреймворк для генерации отчетов о прохождении тестов, который работает "из коробки", и в котором уже собрано 90%+ необходимого функционала для, собственно, построения отчетов о тестировании (включая категоризацию тестов, их приоритет, указание связанных с тестом багов в таск-трекере, произвольные вложения, логирование отдельных шагов и прочее), включая простые графики о времени выполнения тестов:

введите сюда описание изображения введите сюда описание изображения

и информацию отдельно о каждом тесте:

введите сюда описание изображения

Allure создан специально для решения проблем такого характера, поэтому я просто не вижу смысла разрабатывать какое-то свое решение.

Для генерации такого отчета достаточно выполнить три шага:

  • Установить и подключить allure-framework/allure-phpunit
  • Прогнать тесты, в ходе которых адаптер Allure будет собирать информацию о выполняемых тестах. В результате выполнения будут собраны метаданные о выполнении тестов (включая время выполнения и всё вышеописанное)
  • Скачать и натравить allure-cli на директорию с метаданными:

    # создать отчет в директории Allure по результатам, хранящимся в директории allure-results
    allure generate -o Allure allure-results
    

Результатом будет набор файлов с приложением, заключенным в index.html. Для открытия потребуется произвольный сервер (Allure требует выполнения AJAX-запросов, которые браузер обычно запрещает для файлов), который уже включен в allure-cli:

allure open Allure --port 3333

После этого можно будет посмотреть результат по адресу http://localhost:3333

0

Вариант, предложенный Сергеем, близок к идеальному, только лишь показывает все-все тесты. А нужно бы увидеть только медленные.

Впрочем, это легко исправить:

class MyTestListener extends PHPUnit_Framework_BaseTestListener
{
    private $longTests = [];

    public function endTest(PHPUnit_Framework_Test $test, $time)
    {
        if ($time > 0.1) {
            $this->longTests[join('::', [get_class($test), $test->getName()])] = $time;
        }
    }

    public function __destruct()
    {
        foreach ($this->longTests as $testName => $time) {
            $time = round($time, 2);
            echo "Тест '$testName' выполнялся $time секунды\n";
        }
    }
}

С таким классом после всех тестов выйдет отчёт о всех тестах, которые заняли больше двух десятых секунды.

В более новых версиях PHPUnit наследовать нужно от PHPUnit\Framework\BaseTestListener.

В phpunit.xml соответственно появляется секция:

<listeners>
    <listener class="MyTestListener">
    </listener>
</listeners>

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.