Здравствуйте,
Я хочу узнать о том, чем на практике различаются между существующие решения для тестирования мобильных приложений.
Как показывает заголовок этого топика, я имею в виду не unit-тестирование, а именно black box тестирование работы всего приложения целиком: этот вид тестирования обычно называется Acceptance или Integration Testing или еще иногда его называют просто "тестирование UI".
Вот существующие решения, о которых я знаю:
(если интересно, я собрал все эти библиотеки здесь).
Буду признателен, если кто-то поделится опытом использования любого из этих решений применительно к не-малым проектам на iOS.
Попробую перечислить пункты, по которым, как я предполагаю, можно сравнить эти решения:
Язык, на котором пишутся сценарии
- UI Automation использует Javascript (странно!).
- Frank/Calabash основаны на Ruby/Cucumber (ОК для тех, у кого есть Ruby/Rails бэкграунд).
- KIF - Objective-C (Хорошо, ибо нативно!).
- ios-driver - Java (WTF?).
- Appium (сразу несколько, но в первую очередь Ruby и Javascript).
Удобство интеграции
- UI Automation - часть Apple Instruments, поэтому вроде как все должно быть хорошо.
- Frank/Calabash - встраиваются через кастомизацию основного таргета приложения, с этим вроде можно помириться. В основной таргет встраивается HTTP-сервер, который слушает инструкции от Cucumber и заставляет приложение им подчиняться (нажатия кнопок, заполнения текстовых полей, свайпы итд).
- KIF - через конфигурацию тестового таргета. ОК.
- ios-driver, Appium - ?
Использование VCR Tools
VCR Tools, например VCRURLConnection, позволяют записывать все сетевое взаимодействие при реальном обходе сценария вручную, а потом проигрывать записанное с JSON-кассеты при прогоне тестового сценария.
Мне представляется, что, например, UI Automation будет не очень-то просто подружить с такой практикой, когда используется VCR.
Буду рад услышать о таком опыте использования VCR.
Хорошая поддержка доступа к view-иерархии и хорошая поддержка основных жестов (swipes и др.)
Наверное, лучше всего это должно быть у UI Automation, и, наверное, и в остальных решения все это должно быть более-менее в наличии.
Опять же буду рад, если кто-то опишет ограничения, с которыми пришлось столкнуться в работе с тем или иным решением.
Кроссплатформенность
- UI Automation (хм, только Apple)
- Frank (вроде только iOS), Calabash (iOS, Android и скорее всего Windows, так как автор Calabash работает в Xamarin)
- KIF (только Objective-C/iOS)
- ios-driver (вроде только iOS)
- Appium (iOS, Android)
Будет интересно, если кто-то поделиться опытом разработки сценариев сразу под две или более платформ!
Настройка CI-серверов
Здесь от себя ничего не напишу, так как еще ни разу этим не занимался, но подозреваю, что по этому пункту тоже могут быть значительные различия (легкость, удобство).
Подчеркну, что буду признателен за развёрнутые ответы. Интересует реальный опыт использования этих решений: удобство, проблемы, достоинства/недостатки - словом, всё, что сможет мне и другим потенциальным читателям этого топика определиться с тем, какое решение предпочтительнее использовать.
P.S. Я сам склоняюсь к KIF или Calabash.
P.S. #2 По слухам известно, что Яндекс использует в некоторых iOS-проектах Calabash и CI.
ОБНОВЛЕНО ПОЗЖЕ
Я принимаю замечательный ответ Дмитрия, как верный, и это не означает, что тема закрыта: если Вам есть что рассказать, можете поделиться опытом, как это сделал Дмитрий, - прошу, обязательно пишите ваши ответы, так как эта тема интересна мне и, наверное, всем тем из из нас, кто связан с iOS-, да и вообще мобильной разработкой :)