Tms в тестировании что это

Как улучшить процессы тестирования ПО. TMS как неотъемлемая часть современной разработки

В России огромное количество компаний занимаются разработкой собственных ИТ-продуктов, задача которых — повысить эффективность бизнеса. В некоторых компаниях, особенно банковского сектора, количество внутренних продуктов уже давно перевалило за сотню, а количество специалистов задействованных в развитие этих продуктов исчисляется тысячами.

Имея в своем арсенале мощные ИТ-системы, которые постоянно изменяются и развиваются, необходимо внимательно контролировать их качество. Порой цена ошибки или недоступности системы для клиентов, может вылиться в очень значительные финансовые потери для компании.

Сегодня мы поговорим о TMS-системах, с помощью которых организуют весь процесс тестирования ПО и сводят к минимуму простои в работе ПО.

Мы в FIRECODE занимаемся разработкой уже 15+ лет, и в то время тестированию сайтов или мобильных приложений не уделяли должного внимания, это и понятно, ведь прадеды современных приложений и сайтов имели очень скудный функционал. Сейчас системы огромны, и порой бизнес настолько связан с каким-то ИТ-продуктом, что его недоступность может нанести непоправимый вред компании.

У нас работают порядка 250 специалистов, который связаны с разработкой веб и мобильных приложений, и десктопных решений. Зачастую мы подключаемся к уже существующим командам клиента, чтобы усилить их или дополнить экспертизой.

Тестированием мы занимаемся достаточно давно, подключаясь к проектам наших клиентов мы участвуем в тестировании крупных продуктов, в командах работают от 10 до 150 инженеров по тестированию. Правильно организовать работу по тестированию жизненно необходимо для современного ИТ-продукта, поэтому команды используют в своей работе различные TMS (Test Manager System). До введения санкций на российском рынке было большое количество зарубежных решений, таких как TestRail и других. Это хорошие продукты, которые закрывали множество потребностей современной разработки. Но текущие время внесло свои коррективы, часть продуктов ушло из РФ, другую часть стало невозможно оплатить.

Российских бизнес начал смотреть в сторону отечественных решений по управлению качеством (TMS). В России рынок TMS очень молод, но на нем появилось ряд неплохих решений, которые могут помочь в организации процесса тестирования.

Практика и эксперименты

Когда наши заказчики начали испытывать сложности с оплатой и использованием зарубежных TMS, то мы на себе испытали эти проблемы, так как заказчик начал снижать объемы работы и ситуация начала находится в подвешенном состоянии.

В какой-то момент мы решили погрузиться в изучение рынка и решений TMS российского рынка, достаточно много времени ушло на детальное изучение продуктов и их тестирование. В ряде компаний клиентов мы сразу начинали использовать несколько продуктов, чтобы потом выбрать лучший.

При всем при этом, мы не можем рекомендовать лучший продукт, который закрывает все потребности клиента. Каждый из продуктов (TMS) лучший в чем-то своем. Кто-то начал активно использовать решение от Ланита, кто-то FireTMS, кто-то другие продукты.

Что интересно, это то что российские решения во многом оказались лучше по интерфейсу и быстроте в работе, а также было очень заметно, что они адаптированы под требования российских компаний.

Факторы влияющие на эффективность тестирования

Поскольку универсальной формулы, которая будет работать в любой ситуации, не существует, одной из самых больших проблем при организации эффективного процесса обеспечения качества является разработка самого процесса. Вам нужно подумать об окружающей среде в целом и принять во внимание множество факторов:

1. Процедуры тестирования QA в вашей компании

2. Цели вашей команды

3. Используемые инструменты и стек технологий

4. Сложность проекта

5. Процесс выпуска обновлений

6. Состав команды

Понимание этих аспектов может помочь вам обойти любые ограничения и максимально использовать возможности вашей команды. Это позволит вам согласовать ваш процесс с потребностями и требованиями проекта и эффективно расставить приоритеты в усилиях по контролю качества.

Хороший процесс тестирования QA должен быть тщательным, организованным, эффективным и соответствовать целям проекта, ограничениям и доступным ресурсам

План по тестированию

Чтобы тестирование проходило максимально эффективно, оно должно идти по четкому плану, который должен быть зафиксирован в TMS. Исходя из плана тестирования создаются тест-кейсы, формируются команды, запускаются тест-раны и собирается аналитика.

Даже небольшие процессы, которые можно автоматизировать, позволят значительно повысить эффективность разработки. Например, в TMS часто используют ключи доступа, это могут быть логин и пароль доступа, которые выдаются группе специалистов или командам. Ключи могут быть связаны с десятками тест-кейсов, и когда вам потребуется изменить ключ, он автоматически изменится во всех тест-кейсах.

Среда тестирования это 90% успеха

Успех тестирования программного обеспечения обеспечивается за счет настройки надлежащей среды тестирования (TMS). Любые ошибки в этой части процесса могут привести к дополнительным расходам и задержке по выходу обностейний продукта.

Очень важно правильно настроить среду тестирования и полноценно внедрить её, чтобы все участники команды могли пользоваться всем функционалом системы.

Разработчики и специалисты по контролю качества работают вместе как часть проектной группы и поэтому должны нести ответственность за достижение определенных KPI.

Дополнительные возможности TMS:

— Совместное использование документации — общие файлы и отчеты должны быть доступны для разработчиков и QA.

— Прозрачные метрики — документы о областях разработчиков программного обеспечения для улучшения, содержащие основанные на данных и легко измеримые ключевые показатели эффективности.

— Совместные встречи — QA и команды разработчиков должны собираться не реже одного раза в неделю.

Очень сложно описать все возможности современной TMS, но и переоценить пользу от их использования ещё сложнее. Еще остались некоторые компании, которые используют в своей работе эксель и гугл док, и когда подобные компании переходят на современные TMS, то они сильно увеличивают скорость разработки и качество своих продуктов.

На большинстве проектов мы используем FireTMS, но а также несколько других систем от известных компаний, например QASE и TestRail.

Делайте свои проекты качественно и используйте все возможности современных TMS.

Зачем нужна система управления тестированием?

Тестирование ПО — важнейшая составляющая процесса обеспечения качества программного обеспечения, которая заключается в проверке соответствия между реальным и ожидаемым поведением программы, осуществляемая на специально подобранном конечном наборе тестов. Системы тестирования ПО позволяют управлять всеми типами тестов из единого центра и предоставлять полную отчётность по всему процессу. Разобраться с тем, зачем нужны системы управления тестированием, нам помогают специалисты компании IBS AppLine.

Для чего требуется тестирование ПО?

Тестирование — одна из составляющих глобального процесса обеспечения качества ПО. Сейчас, когда все отрасли устремлены в цифровое пространство и компании конкурируют за клиентов через качество итогового продукта, безусловно важно предоставлять клиентам продукты без сбоев, которые будут удобны и визуально приятны. Застраховаться от таких рисков и позволяет тестирование разнообразных видов, где проверяется всё: от соответствия функционала техническому заданию до корректности данных и удобства использования.

Тестирование может быть организовано как профессиональными тестировщиками, так и при помощи пользователей, но в современных реалиях без первого не обойтись. Программное обеспечение стало настолько сложным и многофункциональным, что без специальных знаний и опыта полноценно протестировать его невозможно. Даже в самом идеальном коде неизбежно возникают ошибки — из-за человеческого фактора, не выявленных ранее несовместимостей, наконец, просто из-за того, что разработчик спешит выпустить свой продукт. Учитывая высокую конкуренцию на рынке, малейшие ошибки способны навредить даже самому передовому решению. Поэтому лишь профессионалы могут предложить комплексное тестирование, позволяющее выявить и грамотно описать ошибки, оценить производительность, работу ПО под нагрузкой и эффективность реализованных в нём средств безопасности. Кроме того, только профессионалы могут специально для конкретного проекта разработать необходимые утилиты, если существующие инструменты не позволяют решить поставленные клиентом задачи.

Все многочисленные виды тестирования ПО можно условно разделить на три большие группы: функциональные, нефункциональные и связанные с изменениями.

• Функциональные тесты оценивают функции и особенности ПО, внешнее поведение и взаимодействии с другими системами, а также его безопасность.
• К нефункциональным относятся тесты, определяющие те характеристики ПО, которые могут быть измерены различными величинами. Это все виды тестирования производительности (нагрузочное, стрессовое, объёмное, стабильности), тестирование установки, удобства пользования (юзабилити), тестирование на отказ и восстановления и конфигурационное тестирование.
• Тестирование, связанное с изменениями, проводится после исправления выявленных в ходе функционального и нефункционального тестирования ошибок и недостатков, и его главная задача — подтвердить тот факт, что проблема устранена. К таким видам тестирования относятся дымовое, регрессионное, тестирование сборки и санитарное тестирование (проверка согласованности или исправности).

На каких принципах и на основе какой методологии осуществляется тестирование ПО?

Проекты тестирования всегда направлены на выполнение конечной цели — понять качество продукта и принять правильные решения о его дальнейшем развитии (приоритеты следующего спринта, внедрение, календарный график проекта). Сам принцип ведения проектов независимого тестирования всегда основан на привязке к методологии разработки, прозрачной отчетности о качестве тестируемого ПО, максимально простых и понятных прописанных планах тестирования и тест-кейсах.

«Мы всегда обсуждаем применение результатов тестирования ещё на старте проекта, так как от этого, во многом, зависит и план тестирования. Например: требуется оценить качество выполнения работ по контракту внешнего разработчика, понять насколько точно реализовано ТЗ — это один вариант. Совершенно другой вариант — это встроиться в процесс agile-разработки и привнести в команду свои компетенции в части тестирования, как по процессу, так и с точки зрения самих специалистов. Третья история — это нагрузочное тестирование, когда перед заказчиком стоит задача определить объём закупки оборудования для будущей промышленной системы. Всегда важно понимать цели, которые ставятся перед процессом тестирования, но, в конечном счёте, они всегда влияют на качество конечного продукта и направлены на одну глобальную цель — не допустить некачественный продукт к конечному клиенту. За это мы всегда боремся, доносим эту мысль до заказчиков и это для нас максимально важно», — сказал Николай Марченко, директор отделения автоматизированного тестирования.

Почему IBS AppLine пришла к созданию своих собственных инструментов тестирования?

Более 15 лет практики тестирования в компании IBS AppLine привели к выводу о необходимости создания собственных инструментов тестирования, которые смогли бы максимально автоматизировать функциональное и нагрузочное тестирование. На базе накопленных знаний и экспертизы специалисты компании задались целью ускорить старт проектов, повысить качество тестирования, снизить риск ошибок и упростить введение в работу новичков. Решающую роль при этом сыграли три фактора:

• Отсутствие каких бы то ни было российских аналогов
• Дороговизна платных инструментов зарубежных вендоров
• Слабая функциональность Open Source продуктов в части удобства настроек и графического интерфейса

С появлением собственных инструментов автоматизации тестирования в IBS AppLine логически пришли к необходимости организации управления тестированием из единого центра, в результате чего была разработана система управления тестированием «Кайман».

Что такое система управления тестированием ПО?

Система управления тестированием (Test Management System, TMS) — это важная составляющая процесса, которая объединяет все активности и даёт доступ к отчетности по всему процессу. Такая система нужна тем, кто понимает ценность тестирования, хочет им управлять из единого центра, а не собирать множество разномастных отчётов.

Каковы ключевые особенности и преимущества автоматизированной системы управления тестированием ПО «Кайман»?

Систем управления тестированием на рынке много и они появились довольно давно, но именно полнофункциональных решений среди них практически нет. Это либо очень дорогие импортные системы, где управление нагрузочным и функциональным тестированием всё равно разведено по разным модулям, либо Jira с плагинами, которые каждый может выбирать по своему усмотрению, либо какие-то OpenSource продукты, изначально представляющие из себя конструктор. Российские решения по управлению тестированием дают возможность работать только в части функционального тестирования, причём с большим перекосом в ручное управление — уровень автоматизации в них незначителен.

Стэк решений от IBS AppLine: «Кайман» в качестве командного центра, «Хамелеон» — автоматизация тестирования, «Циклон» — нагрузочное тестирование: это полноценно интегрирующееся решение, которые закрывает все потребности по функциональному и нагрузочному тестированию. Эти решения сочетают в себе плюсы как классических коммерческих (наличие поддержки, приятный и функциональный интерфейс, комплексность решений), так и OpenSource решений (новые технологии, активное развитие продукта, возможность взаимодействия с внешними системами, например, управления дефектами).

«Основной упор при разработке «Каймана» мы делали и продолжаем делать на наш многолетний опыт предоставления услуг заказного тестирования ПО. В «гены» «Каймана» изначально заложено внимание к таким вещам, как планирование тестирования, управление и контроль команд тестировщиков, повышение прозрачности процесса тестирования для владельцев продукта и бизнес-заказчиков, удобство управления большими объёмами автоматизированных тестов, поддержка коммуникаций. Говорят, что дьявол кроется в деталях. Мы как никто знаем детали процесса тестирования и максимально ориентируем бэклог продукта на решении практических задач обеспечения качества ПО.

Например, уже сейчас «Кайман» полноценно поддерживает организацию и проведение нагрузочного тестирования, чего нет в большинстве конкурирующих систем», — отметил Николай Стрельцов, заместитель директора отделения автоматизированного тестирования.

Где используется «Кайман» и как выглядит процесс работы с этим продуктом?

В настоящее время «Кайман» применяется для организации и проведения тестирования в ряде проектов компании по заказной разработке. Инструментом пользуются владельцы продукта, аналитики, тест-дизайнеры, тестировщики, специалисты по автоматизированному и нагрузочному тестированию, тест-менеджеры.

Если кратко описать классический процесс работы с Кайманом в части ручного функционального тестирования, то он выглядит примерно так:

• Тест-дизайнеры в «Каймане» разрабатывают тестовую модель, пишут тесты или чек-листы. В результате тестовая модель предстаёт в структурированном иерархичном виде.
• Аналитики со своей стороны валидируют разработанные тесты на предмет полноты покрытия требований. В «Каймане» этот процесс прозрачен и управляем: всегда можно увидеть, какая часть тестов провалидирована, а сколько ещё осталось.
• При планировании прогонов тест-менеджер создаёт набор тестов из тестовой модели и назначает ответственных. Тестировщики, на которых назначены конкретные тесты, осуществляют прогоны тестов и фиксацию результатов в части каждого теста. При планировании прогонов «Кайман» на основании исторических данных позволяет оценить и спланировать трудоёмкость прогонов.
• По итогам тестирования тест-менеджер формирует отчётность в различных аспектах качества тестируемого ПО.

В части автоматизированного и нагрузочного тестирования процессы проходят несколько иначе, тем не менее, их вполне можно назвать классическими. Тем, кто знаком с этими видами тестирования, не составит труда разобраться с подходом и принципами автоматизации, которые обеспечивает «Кайман».

Каков следующий этап развития системы управления тестированием и его области применения?

Если говорить о будущем, то здесь в IBS AppLine выделяют два основных вектора развития:

• Комплексная система управления тестированием, закрывающая все возможные потребности клиента в различных видах тестирования ПО.

«В этом направлении мы планируем добавлять поддержку новых видов тестирования (помимо уже существующей поддержки функционального, автоматизированного и нагрузочного тестирования). Например, тестирование UI\UХ. Этот вид тестирования пока ещё не слишком распространен в нашей стране, но потребность в нём возрастает с каждым месяцем. Количество пользовательских приложений растёт и соответственно растёт конкуренция между ними. В такой ситуации предоставлять клиентам наилучший пользовательский опыт становится для бизнеса жизненно необходимым», — рассказал Николай Марченко, директор отделения автоматизированного тестирования.

• Инновационный продукт, позволяющий решать насущные проблемы тестирования и его заказчиков.

«В первую очередь, здесь мы говорим о сокращении времени на тестирование. «Кайман» будет ускорять проверки ПО как в части планирования и работы с тестовой моделью (за счёт интеллектуального анализа требований и существующих тестов), так и в части непосредственного прогона тестов (за счёт упрощённой полуавтоматической подготовки автотестов на основе «ручного» тест-дизайна», — уточнил Николай Стрельцов, заместитель директора отделения автоматизированного тестирования.

Топ-12 лучших систем управления тестированием 2020

Каждый проект уникален и у каждой команды свои запросы. Однако всех нас объединяет желание работать с качественными инструментами, которые экономят время и позволяют QA-специалистам тестировать качественнее и быстрее, в идеале чтобы TMS могла совмещать ручное и автоматизированное тестирование.

Мы вновь проанализировали проверенные временем и новые системы управления тестированием, которые сейчас популярны на рынке. Выбрали функции, которые должны быть в Test Management System нашей мечты, сравнили возможности продуктов и изучили отзывы пользователей. Делимся списком инструментов, один из которых точно подойдёт вашей команде.

Здесь нет рейтинга, у каждого инструмента есть свои преимущества и недостатки. В основном инструменты тест-менеджмента платные, однако у всех есть бесплатная пробная версия.

Что мы хотим от удобной Test Management System?

Пользователь TMS ожидает увидеть следующее:

• Удобная установка и поддержка.
• Удобный и понятный интерфейс.
• Создание и управление проектами.
• Создание пользователей и проектных ролей для пользователей.
• Удобная интеграция с автоматическими тестами.
• Работа с тестовыми артефактами: тест-план, тест-кейс, чек-лист, общие шаги.
• Версионирование тест-кейса/чек-листа.
• Создание пользовательских атрибутов/конфигураций.
• Понятная система отчётности.
• Встроенная система баг-трекинга.
• Возможность оповещения коллег внутри и вне системы.
• Возможность интеграции с другими инструментами.

Зачем нужна TMS?

Решить задачу создания единой TMS для работы со всей документацией проекта можно несколькими способами:

1. Самый дешёвый способ — не заморачиваться и выбрать Google Docs для матрицы трассируемости, а дефекты вести в open-source баг-трекере.
2. Другой способ — использовать одну из популярных TMS-ок, интегрированную с баг-трекером компании.
3. Next-level способ — выбрать Test Management System, исходя из специфики проектов, объемов задач, типов документации и используемых видов тестирования.

Популярные системы управления тестированием на 2020 г

• ALM Octane
• Test IT
• TestRail
• Zephyr
• Allure EE
• TM4J
• Qase
• PractiTest
• Testuff
• Azure
• MTM TFS
• Kualitee

1. ALM Octane

ALM Octane — долгожитель среди систем управления и жизненным циклом продукта, и его тестировании. Инструмент позволяет осуществлять планирование, создание, тестирование и контроль на всех этапах разработки. Сложен в первоначальном освоении, но незаменим для компании крупной руки, где особое внимание уделяется деталям производства. Поддержана функциональность общих шагов. Работа с автоматизированными тестами. Фактические время прохождения для каждого тестового сценария. Реализована функциональность вебхуков.
Присутствует внутренний баг-трекер. Удобная система конструирования отчетов.

Именно потому, что продукт уже обкатан, в интернете есть великое множество мануалов и видеогайдов по настройке и использованию.

Возможности:

• Общий доступ к библиотекам требований и ресурсов
• Подробные сведения о коде, тестировании, управлении рисками и их оценке, а также о соответствии требованиям
• Быстрый доступ к показателям, например к данным о не устранённых дефектах
• Быстрая настройка лабораторной среды для устранения ошибок конфигурации в средах Agile
• Работа с автоматизированными тестами
• Вебхуки
• Удобная система отчетов
• Создание требований и отслеживание их выполнения на всех этапах жизненного цикла приложения
• Аналитика на любой вкус и цвет: гибко настраиваемые отчёты
• Интеграция с 50+ инструментами

2. Test IT

Test IT — шустрая российская TMS, которую создают тестировщики для тестировщиков. Основная фишка — совмещение ручных и автотестов в одном интерфейсе, что здорово способствует объединению QA-команды. Анализ автотестов теперь возможен в одной системе с тестовой моделью! Разработчики приложения уделяют большое внимание автоматизированному тестированию, каждый тестовый случай в библиотеке тестов можно линковать с автотестами по API. Правильно настроенная интеграция с автотестами позволяет следить за прогонами и их результатами прямо из TMS в режиме реального времени. Вы сможете видеть, какие автоматические тесты в процессе выполнения, анализировать их результаты и просматривать исходный код прямо из Test IT. При необходимости можно создать тест-ран вне системы и заполнить его своими автотестами без линка с тестовыми сценариями.

Этот инструмент отличает продуманный и красивый интерфейс. Внутри системы можно создавать проекты и вести для каждого структурированную библиотеку тестовых случаев и чек-листов, часто повторяющиеся операции выделяются в общие шаги. Инструмент гибкий — в каждом проекте создаются дополнительные пользовательские атрибуты/конфигурации, распределяются проектные роли и права, что упрощает настройку TMS под процессы компании. Test IT помогает менеджерам равномерно распределять нагрузку между тестировщиками и контролировать исполнение работ с помощью пользовательских запросов и отчётов. Также в рамках самой системы есть возможность общаться с коллегами, не используя сторонние мессенджеры. Есть элемент геймификации и возможность собирать ачивки.

Test IT активно развивается, берет фичареквесты от своих пользователей и забивает ими 40% беклога, есть грамотная техподдержка.

Возможности:

• Управление тест-планами, тест-кейсами и чек-листами
• Общие шаги для повторяющихся действий
• Создание пользовательских атрибутов/конфигураций
• Автоматическое распределение тестов на QA инженеров
• Интеграция автоматических тестов с помощью API
• Создание тест-ранов вне системы с управлением состояния
• Аналитика как по автоматическим, так и по ручным тестам
• Внутренний чат и вебхуки во внешние системы
• Ролевая модель и персонализация
• Геймификация и ачивки
• Двусторонняя интеграция с JIRA
• Расширенная функциональность Public API
• Импорт из других систем управления тестированием

3. TestRail

Это программное обеспечение удобно как для команд QA, так и для разработки. План тестирования можно выстроить как по сценарию гибкой методологии, так и для более традиционного подхода. Инструмент позволяет получить представление о ходе тестирования в реальном времени. Вы можете строить конфигурированные отчеты по необходимым вам метрикам. В новых версиях появилась интеграция с Assembla. Так же была поддержана функциональность внутреннего чата и оповещений во внешнюю систему.

Помимо возможности разложения своих тестовых сценариев по тест-ранам с их дальнейшим помещением в тест-планы, вы можете использовать такую сущность как Milestone, которая позволит удобно настроить процесс прохождения тестирования.

Можно настроить типизации проекта для ведения в нем тестовой документации.

Возможности:

• Отслеживание состояния и результатов отдельного теста
• Сравнение результатов нескольких тестов, конфигураций и этапов
• Типизация проектов для ведения тестовой документации
• Внутренний чат и оповещения во внешнюю систему
• Отслеживание рабочей нагрузки команды для корректировки задач и ресурсов
• Развёрнутые отчёты и метрики
• Широкие возможности настройки, облачные или локальные варианты установки
• Интеграция с JIRA, Redmine, YouTrack, GitHub, Jenkins, Selenium и Visual Studio
• Удобный REST API

4. Zephyr

Zephyr — это плагин для всем известной JIRA, который интегрирует тестирование в проектный цикл, позволяя вам отслеживать качество программного обеспечения и принимать решения в стиле go / no-go. В новых версиях была поддержана работа с автоматизированными тестами.

Тест кейсы могут создаваться, выполняться и отслеживаться так же, как и любые другие задачи в JIRA. Для более оптимальной фиксации процесса тестирования есть интеграция с инструментами управления качеством, автоматизации, непрерывной интеграции и аналитики. Присутствует возможность создания пользовательских атрибутов. Кроме того, у продукта быстро отвечающая техподдержка.

Возможности:

• Ссылка на user-stories, задачи, требования, дефекты
• Конфигурации деплоя: в облаке, на сервере, в дата-центре
• Расширенная информация на дашбордах аналитики и DevOps
• Интеграция с JIRA, Confluence, Selenium, Jenkins и Bamboo
• Автоматизированные тесты
• Создание пользовательских атрибутов
• Понятная система отчетов.

5. Allure EE

Allure – это фреймворк для создания простых и понятных отчётов автотестов (для любого языка), представляет из себя инструмент, позволяющий внести прозрачность в процесс создания и выполнения функциональных тестов. Отчёты Allure помогают команде решить многие проблемы и начать наконец разговаривать на одном языке. Allure Enterprise стал логичным продолжением подхода automation first и поддерживает обновление тестовой документации из кода автотестов. У инструмента есть множество интеграций с фреймворками тестирования и разными языками программирования.

Возможности

• Интеграция с automation tools
• Компиляция кода в кейсы
• Детальные отчеты по автотестам
• Совмещение работы с мануальными и автоматизированными кейсами
• Многопоточность автотестов
• Пользовательские атрибуты
• Тайм-менеджмент (TimeLine)

6. TM4J

TM4J он же Adaptavist – это приложение для управления тестированием в JIRA, позволяет вести тестовую документацию в JIRA. Линкование тестовых сценариев и issue непосредственно в JIRA. Поддержана работа с автоматизированными тестами. Возможность объединения повторяющихся шагов в общий шаг.

Возможности:

• Линкование тестовых сценариев и issue не выходя из JIRA
• Работа с автоматизированными тестами
• Внутренний багтрекер
• Понятная система отчетов
• Использование общего шага
• Фактическое время прохождения теста
• Экспорт данных в Excel

7. Qase

Qase это облачная TMS, которая поможет вашей команде повысить производительность и организовать удобный флоу тестирования программного обеспечения. Поддержана функциональность объединения постоянно повторяющихся действий в общий шаг, импорт данных из других TMS. Управление ролями и разрешениями для пользователей системы. В новой версии была доработана система отчетов.

Возможности:

• Тестовый репозиторий: выстраивание тестов в логические группы
• Составление шагов для кейсов, установка приоритета и серьёзности
• Запуск тестовых прогонов с трекингом времени по каждому тест
• Хранение документации по проекту
• Автоматическое заведение дефектов в интегрированные трекеры
• Интеграция с JIRA, Redmine, YouTrack и Slack
• Объединение результатов автотестов с REST API

8. PractiTest

PractiTest — это комплексное средство управления тестами. Оно дает полную картину процесса тестирования и более глубокое понимание результатов тестирования. Этот инструмент поможет организовать тест-сьюты в соответствии с вашими циклами и спринтами. Тестовые наборы можно формировать по различным критериям, таким как компоненты, версии или типы. Тул заточен на Agile-тестирование, регрессионное тестирование, тестирование микросервисов и DevOps.

В новых версиях была доработана функциональность работы с автоматизированными тестами.

В техподдержке работают обученные QA-сотрудники, которые могут быстро понять вашу проблему.

Возможности:

• Лёгкое добавление тестов новых фич в регрессионное тестирование
• Группировка тестов на основе микросервисов, которые они охватывают, даже кросс-сервисные
• Различное отображение информации для разных групп пользователей
• Дашборды в реальном времени показывают состояние тестов, прогонов на этапах разработки и при деплое на прод
• Интеграция с JIRA, Redmine, Jenkins, GitLab и Slack

9. Testuff

Команда Testuff делает действительно удобный инструмент, данная TMS старается объединить в себе все методы тестирования, начиная от waterfall model и заканчивая black box testing.
Разработчики Testuff отдельно выделили свой продукт как единственную TMS, которую можно использовать на любом девайсе: смартфоны, планшеты и т.д

В данном решении есть все необходимое для TMS: классный интерфейс, понятный и удобный способ ведения тестовой документации, конфигурации и пользовательские атрибуты, два способа интеграции с любым существующим баг-трекером, а также добавили видеорекордер.

Возможности:

• Планирование тестов
• Интуитивный drag-n-drop интерфейс
• Наглядные отчёты с подробными графиками
• Два способа интеграции со сторонними инструментами баг-трекинга
• Возможность тестировать с любого девайса

10. Azure DevOps Server

Это мощный инструмент работы с тестами и автотестами, за счет своей комплексности вы можете настроить своё рабочее пространство, как вам необходимо. Работайте напрямую со своими CI/CD сервисами, интегрируйте свои репозитории прямиком в Azure, ведите тестовую документацию по спринтам, которые будете раскладывать по бордам, делайте максимально детальные отчеты по вашей тестовой документации и результатам её прохождения.

Отдельно стоит упомянуть возможность интеграции с IDE от компании Microsoft, вы можете редактировать и настраивать свой код прямиком через Azure и интегрироваться со всевозможными системами от компании Microsoft.

Возможности:

• Интеграция с любым продуктом компании Microsoft
• Нативный интерфейс
• Интеграция с любым CI/CD
• Ведение удобных Dashboards
• Работа с автотестами
• Пользовательские атрибуты

11. MTM TFS

Team Foundation Server (TFS) — комплексное решение от Microsoft, которое включает в себя систему управления версиями, сбор данных, построение отчетов, отслеживание статусов и изменений по проекту.

Microsoft Test Manager — часть этого продукта и требует установки Visual Studio. Такое сочетание дает возможность связать задачи, которые поставлены перед тестировщиком, с заведенными дефектами и отчетами о затраченном на работу времени.

Планы и результаты тестирования сохраняются на сервере Team Foundation Server.
МТМ включает в себя тест-план, тест-кейс и конфигурации.

Сам TFS является проприетарным ПО, лицензия — коммерческая. Работает на трех уровнях: клиентский уровень, прикладной уровень и уровень данных, в зависимости от чего возможна работа или через web, или через десктоп-приложение. МТМ работает только на прикладном уровне, поэтому требуется установка на сервер (если сервер удаленный, работа проводится через VPN).

Возможности:

• Исследовательское тестирование
• Планирование и выполнение ручных тестов
• Кроссплатформенные конфигурации тестов (разные версии одного теста для разных платформ/релизов)
• Диагностика прохождения теста (логи, видео и т. п.)
• Импорт-экспорт тестов
• Межпроектный импорт-экспорт тестов
• Запись и воспроизведение ручных тестов (рекордер)
• Автоматизация тестов

12. Kualitee

Kualitee — продукт Kualitatem, компании по тестированию программного обеспечения и информационной безопасности, специализирующейся на обеспечении безошибочной работы приложений повсюду.

Kualitee предлагает функции управления проектами, управления тестированием, управления дефектами с интеграцией с баг-трекерами. Гибкая система пользовательских атрибутов позволяет очень точно настроить необходимое рабочее пространство. Дополнительно есть возможность глубокой настройки профилей пользователя и его прав доступа.

Возможности:

• Управление проектами
• Управление дефектами
• Управление тестовой документацией
• Персональная панель инструментов
• Продуманная настройка пользователей

Понравился пост? Не забудьте поделиться им!
И помните, только тестировщик стоит между багами и клиентом! 🙂

• Тестирование IT-систем
• Тестирование веб-сервисов
• Тестирование мобильных приложений
• Тестирование игр

Как понять, что вам пора внедрять TMS в работу отдела тестирования

Культура тестирования в российской IT-индустрии только развивается — бывает, команды годами сидят в Google Docs или не ведут тестовую документацию вообще. QA-специалисты TMS DoQA от команды IT Test рассказали о признаках, по которым можно понять, что с помощью TMS процессы в вашем отделе тестирования можно сделать более эффективными и прозрачными.

Тестовая документация не стандартизирована.

TMS помогает тестировщикам работать по стандартам, принятым в отрасли, и унифицировать документацию — этот инструмент сам по себе подсказывает, как делать все правильно.

Даже неопытный специалист не пройдет мимо полей, которые нужно обязательно заполнить: интерфейс подсказывает, где нужно добавить комментарий и написать ожидаемый результат, куда вводить тайтл. В итоге вы получаете полноценную документацию с адекватным наполнением в едином формате от каждого тестировщика команды.

Хаос в ведении тестовой документации.

Три распространенные ситуации, которые буквально кричат о том, что в тестовой документации пора наводить порядок:

• документация ведется в системах, не предназначенных для этого, например, в Confluence или Notion (встречали и такое);
• тестировщики одной команды ведут документацию в разных местах или, что еще хуже, хранят ее у себя на локальном устройстве без общего доступа;
• отпуск, больничный или увольнение одного тестировщика приводят к сбою в процессах: приходится тратить время на то, чтобы переписывать существующую, но где-то утерянную документацию с нуля, беспокоить коллег во время отдыха или искать контакт с сотрудником, которого в команде уже нет, как и артефактов его работы.

Внедрение TMS пресекает такие ситуации на корню — вся документация собирается в одном месте с разными уровнями доступа для разных специалистов.

На одном проекте больше одного тестировщика.

Некоторое время компания может тестировать «наживую»: ничего не записывать и выживать. Но как только команда тестировщиков разрастается, управлять процессами и анализировать результаты становится сложнее — сплоченная работа невозможна без понимания чем, как и когда занимаются коллеги.

TMS — отличный помощник в организации командных процессов. Благодаря этому инструменту лид может распределять задачи на создание и прохождение тестов, понимать, сколько времени тратит каждый сотрудник, и наблюдать за прогрессом.

Также TMS помогает сотрудникам отдела тестирования четко видеть границы своей ответственности, наблюдать за работой более опытных коллег и перенимать лучшие практики. В плюсе от внедрения TMS остаются и менеджеры, и линейные тестировщики.

Вы не всегда вовремя определяете, когда процесс тестирования требует корректировки.

Тестировщик не всегда может понять и обозначить, что процесс тестирования идет не так, как ожидалось, и если никто, кроме него, не имеет доступа к тестовой документации и результатам работы, то проект рискует оказаться под угрозой.

Если в команде есть TMS, то управлять рисками и отслеживать критические моменты становится проще — аналитика подскажет, где проблема. Возможно, регресс двигается слишком медленно (выделили на это пять дней, а по статистике TMS за два дня было выполнено только 20% работы), или нужно привлекать дополнительные ресурсы в команду, потому что разработчики выкатывают обновления чаще, чем планировалось.

Для понимания всех этих деталей достаточно будет заглянуть в отчет TMS.

На проектах случаются ошибки.

Представьте, что тестовая среда еще не готова, а тестировщик уже сделал проверку и, не найдя багов, завершил работу. Но тут обновляется код, не учтенный специалистом, и какая-то часть продукта остается без тестирования.

При наличии TMS эту ситуацию можно проанализировать и определить, почему в работе возникла ошибка: увидеть, какие статусы стояли у тест-кейсов в определенный день и время, соотнести их со временем, когда стало доступно тестовое окружение, уточнить, почему тестирование было проведено до того, как код был обновлен. Сотрудникам не нужно вспоминать, что и почему они делали какое-то время назад — в системе отображаются все действия.

Смена статусов внутри одного прогона может указывать на сложности с тестированием. Если коллега проходил по одному месту несколько раз, может оказаться, что тестовая документация нуждается в обновлении, или самому тестировщику не хватает опыта.

Все это — артефакты, которые можно исследовать, и благодаря этому улучшать работу команды. TMS помогает распутать клубок процессов при выяснении обстоятельств ошибки, что невозможно в инструментах, где не фиксируется история действий.

Новые тестировщики долго вливаются в работу.

Сразу выдать тестировщику инструмент для работы — это правило хорошего тона. TMS позволяет быстрее внедрять специалистов в команду и помогает им осваиваться в процессах.

После прохождения прогонов по тест-кейсам в TMS новый сотрудник закроет для себя большую часть вопросов, потому что система управления тестированием позволяет удобно структурировать информацию:

• распределять ее по папкам в соответствии с картой функциональности приложения или другим признакам;
• расставлять приоритеты тестов для обозначения важности того или иного функционала в рамках бизнеса, чтобы знать, на что обращать внимание в первую очередь;
• использовать теги, фильтры и поиск для быстрой навигации по тестовой документации.

Работая в TMS, тестировщик получает разностороннее представление о продукте. Это отличный способ обучить новых сотрудников, а наращивать штат без TMS будет тяжело.

Вы ищете дополнительные точки роста в тестировании.

TMS — это дополнительная точка роста и инструмент для оптимизации процесса тестирования и качества работы.

Какие-то команды, например, пробуют гибкие методологии, хотя до этого работали по Waterfall, кто-то нанимает в команду опытных менторов и Senior-специалистов, чтобы выстраивать правильное написание кода. Для команды тестирования внедрение TMS — такой же логичный шаг к тому, чтобы становиться эффективнее.

Попробуйте TMS DoQA, чтобы увидеть, как наша система увеличивает эффективность тестирования. Мы предоставим бесплатный доступ к сервису без ограничений на один месяц: полный функционал и любое количество тестировщиков на проекте.