Обзор докладов GTAC'14

GTAC - одна из немногих конференеций, где можно увидеть что-нибудь интересное и полезное в области тестирования. В 13-м году я побывал там лично (хм, странно, что не написал об этом), в 14-м не получилось, но нельзя было не посмотреть видео докладов. Напишу о тех докладах, которые показались мне наиболее интересными.

Test Coverage At Google. Рассказ про то, что покрытие кода в Google измеряется. Никаких выводов, закономерностей или наблюдений. Понравилась плотная интеграция с инструментами разработки в течении всего жизненного цикла задачи от разработки до ревью и тестирования.
Free Tests Are Better Than Free Bananas. Интересный рассказ про инструмент анализа и поиска ошибок в продакшн логах с использованием машинного обучения. Очень похож на наш Magic Tester, только для логов, а не вёрстки.
Beyond Coverage: What Lurks in Test Suites? Аналитика покрытия кода десятка известных opensource-проектов. Немного интересных, но бесполезных фактов: покрытие прыгает от 20 до 95%, тесты в основном очень простые (80% из них линейны), большинство тестов не требует большой экспертизы для написания.
Scalable Continuous Integration - Using Open Source. Парнишка из Dropbox рассказывает про их CI-систему. Началось всё со знакомой проблемы - чтобы выполнять тесты быстро, нужно их параллелить. Не нашли подходящее решение для шардирования выполнения тестов, запилили свою CI-систему :) с использованием Amazon EC2. Придумали свою систему модулей/зависимостей. Минус им за очередные велосипеды, плюс за opensource’ные решения.
Fire Away Sooner And Faster With MSL. Смелые ребята - показывали live demo, даже wi-fi отключили :). Рассказывают про свой opensource инструмент для моканья REST-сервера. Судя по рассказу штука довольно удобная - можно конфигурить фейковый сервер (написан и выполняется под nodejs) прямо из тестов при помощи клиента, есть готовые клиенты для разных языков, а так же плагин для Кармы, позволяющий автоматически запускать сервер перед тестами и тушить после.
Never Send a Human to do a Machine’s Job: How Facebook uses bots to manage tests. Наверное, самый интересный доклад из всех. Нестабильные тесты - зло, а мы придумали как с этим злом бороться. Будем использовать ботов для для анализа состояния тестов и автоматического заведения/закрытия тасков на их починку. Несмотря на интересный подход и (кажется) неплохую реализацию, ребята, на мой взгляд пытаются лечить симптомы вместо болезни.
The Importance of Automated Testing on Real and Virtual Mobile Devices. Докладчик из компании купленной гуглом. Они предоставляет инфраструктуру для тестирования на девайсах и весь доклад - откровенная продажа их сервиса (не успел сделать новую презенташку?). Особенно забавно это смотреть после того, как в 2013-м гугловцы уверяли всех что автоматизация на реальных девайсах - зло и давайте по-максимуму всё делать на эмуляторах :). Но если закрыть глаза на эти мелочи, то инфраструктура реальных девайсов которую они создали конечно впечатляет - около сотни реальных девайсов, эмуляторы, подымаемые по запросу, готовый робот для monkey-тестинга, эмуляция различного физического окружения (качество связи, геолокация), интеграция с популярными тестовыми фреймворками, веб-интерфейс, API и сбор всех мыслимых и немыслимых данных в ходе выполнения тестов.

Вот и нашлось что посмотреть во время праздников, да? ;)