Расскажем, как внедрили новый инструмент по управлению тестированием в отдел обеспечения качества нашей компании, чтобы вывести работу отдела на новый уровень. Возможно, наш опыт внедрения системы будет полезен другим, поэтому предлагаем краткий обзор проделанной работы.
Почему Test IT?
Наша компания активно растет и развивается последние несколько лет. Наступил момент, когда работа QA отдела, в частности, стала затруднительной без специального инструмента для хранения тестовой документации и сбора данных для проведения глубокого анализа процессов тестирования. Необходимость создания единой базы ручных и автотестов уже не давала себя игнорировать. Кроме того, для повышения прозрачности работы отдела тестирования нужен был инструмент для анализа статистики и визуализации отчетов по разным метрикам для разного уровня руководителей, начиная от тимлида и заканчивая операционным директором. Чтобы определить наиболее подходящую систему, мы выбрали пять кандидатов для анализа возможностей и пробных запусков, среди которых Test IT. Так же рассматривали известные OpenSource альтернативы.
Основными критериями для отбора были:
- местонахождение компании-производителя разработчика как защита от влияния санкций
- функциональная наполненность: библиотека тестов, запуск автотестов из ТМС, построение отчетов на основе результатов тестирования, импорт существующих тестов, интеграция с Jira
- соотношение цена-качество
В результате исследования пришли к выводу, что Test IT наиболее полно удовлетворяет нашим потребностям. Test IT предоставляет два способа поставки системы управления тестированием — облачный и серверный. Для себя мы выбрали on-premise решение в соответствие с требованиями политики безопасности.
Общее впечатление о системе
Test IT это удобное, элегантное кроссплатформенное решение для хранения тестовой документации с историей изменения тест-кейсов, которое легко интегрируется с JIRA, а также дает возможность запускать и получать отчеты по автотестам напрямую из Test IT с помощью Webhooks.
Сопровождающая документация логичная и понятная, не перегружена текстом и скриншотами. Ей легко пользоваться пошагово как инструкцией по настройке системы, начиная с развертывания на виртуальной машине и заканчивая использованием Webhooks. Конкретные примеры по необходимым флоу в документации помогают быстро настроить и использовать продукт по назначению.
Создание проекта, тест-кейсов и импорт тестов в систему не составили труда. Для интеграции автотестов в системе Test IT также реализован необходимый и достаточный функционал. Ниже предлагаем краткий обзор проделанной работы.
Ручные тесты
Процесс создания тест-кейса в системе просто и понятно описан в Руководстве пользователя в виде пошаговой инструкции со скриншотами. Быстро разобрались и c возможностью импорта существующих тестов в xlsx формате.
В нашей предыдущей системе управления тестированием была возможность сохранить тест-кейсы в xlsx формате. К сожалению, полученные таблицы нельзя импортировать в Test IT без дополнительной обработки, так как форматы таблиц не совпадают. Чтобы уменьшить количество ручных исправлений в исходных таблицах, выгрузили из Test IT формат тест-кейса xlsx, и в этот шаблон переносили полученную из старой системы информацию. Можно сразу дополнить недостающие шаги или условия в таблицу перед импортом. Отредактированный таким образом xlsx файл легко импортируется в Test IT. Необходимые правки также удобно делать в системе в созданном тест-кейсе, если импортировать промежуточный вариант.
Проверка интеграции с Jira
Интеграцию настроили в начале запуска системы, а проверку ее работоспособности оставили на момент, когда уже будут созданы пробные тест-кейсы и тест-план. Прошли по пунктам в документе, создали баг при прохождении теста из Test IT, проверили, что он создался в Jira. Также баги, созданные в Jira, успешно добавляли в тестовые прогоны. Статус бага можно отследить в Test IT, наведя на него курсор. Так же статус багов, созданных на прогонах тест плана, можно посмотреть отдельно списком в отчете, что тоже оказалось очень удобно.
Клон теста в Jira появляется в отдельном проекте, который создали для этих целей. Каждому тесту соответствует один клон. Последний статус в клоне соответствует последнему прогону, а предыдущие статусы можно отследить в истории изменений клона теста.
Автотесты
В целом, интеграция существующих автотестов в Test IT прошла успешно. Однако, нам не хватило некоторых возможностей – использование классов, нескольких Webhooks одним автотестом, вариативности конфигураций, простого способа каталогизации автотестов и ручного и/или автоматического прерывания тест рана в UI системы. Мы связались с техподдержкой и получили подтверждение, что в ближайших релизах Test IT эти функции будут доступны.
Оценка интеграции
Мы считаем, что интеграция Test IT в наше рабочее окружение прошла успешно, благодаря исчерпывающей сопровождающей документации и стабильной работе системы. Чтобы дать представление о том, сколько времени и ресурсов занял переход на новую систему, приведем здесь некоторые данные.
- Объект тестирования: облачная платформа Conversational AI по созданию голосовых роботов, которая используется крупными клиентами в различных индустриях: телеком, банки и финансы, ритейл.
- Количество тестов в предыдущей системе: 800
- Количество автотестов: 150
- Трудозатраты: развернули систему on-premise за два человеко-дня, настроили интеграцию с Jira, создали внутреннюю структуру и сделали тестовые прогоны для первых 100 тестов за две человеко-недели, интеграция автотестов заняла также около двух человеко-недель
Через три недели после старта перехода мы приступили к активному использованию системы. Стоит отметить, что переход на Test IT прошел без отрыва от рабочих задач благодаря отличной сопровождающей документации. В подавляющем большинстве случаев мы нашли в ней ответы на возникшие вопросы. Для интеграции автотестов дополнительно смотрели обучающее видео от Test IT.
Мы рекомендуем Test IT к внедрению и использованию как качественную и удобную систему управления работой команды тестирования.
