Самоуправление виртуальной машины

[Ism]

Интересный диалог получился в комментариях (внизу) в одном блоге
http://thefreecountry.wordpress.com/2012/0...-and-packaging/

Что вы об этом думаете

[Stauffenberg]

Да, диалог интересный, но собеседники говорят о разном. Автор в статье сравнивает две системы непрерывной интеграции: Jenkins и OBS, а диалог получился об использовании окружения для тестирования результатов (собранных пакетов). Синтез Virtualbox с любой из этих систем безусловно даст положительный эффект при тестировании, особенно если получится процесс тестирования автоматизировать.

[Ism]

Просто меня удивило, что никто не пытался сделать завязку виртуальной машины с внешней средой. Все для этого есть. Теоретически можно склепать спец дистрибутив линукса с необходимым софтом. Только существует ли подобный софт или хотябы аналогичный ?

[Stauffenberg]

Ну почему же, например openQA.
http://openqa.opensuse.org/

This machine runs regular automated tests of the openSUSE Factory distribution to find bugs early in the development cycle.

[Ism]

Я уже копал про него, на русском мало инфы , но судя по всему это просто нажималка на кнопки запуска программ , которая проверяет результат.
http://www.opennet.ru/opennews/art.shtml?num=32017

Особый интерес представляет метод проведения тестирования - на различных стадиях работы дистрибутива и при запуске различных приложений создаются скриншоты, которые сравниваются с эталонными снимками экрана для определения пройден очередной тест или нет. При этом OS-autoinst выполняет определённые сценарии работы пользователя с системой, симулируя ранее записанные действия с клавиатурой и мышью. Система не просто манипулирует сравнением скриншотов, но и пытается отреагировать на текущее содержимое экрана, с учётом разнообразных отклонений, что позволяет продолжить тестирование даже при возникновении проблем.

А значит если приложение завершилось с ошибкой , например firefox , то невозможно из машины получить вывод командной строки с ошибками.

В описанном мною варианте внутри будет некий софт , который будет все слушать и сообщать, а также давать команды внешнему скажем демону на хостовой машине по управлению виртуалкой.
Пока я смутно это представляю, но не думаю то это сложно.
Хотя для получения ошибок из тестируемых программ придется сделать чтото , что слушает выводы программ что может исказить результаты теста

[Stauffenberg]

А значит если приложение завершилось с ошибкой , например firefox , то невозможно из машины получить вывод командной строки с ошибками.

Нет, если произошла ошибка, и firefox упал, то тестирование можно продолжить.

Система не просто манипулирует сравнением скриншотов, но и пытается отреагировать на текущее содержимое экрана, с учётом разнообразных отклонений, что позволяет продолжить тестирование даже при возникновении проблем.

Т.е. и вывод, и все, что захотите, можно еще вытянуть для отчета об ошибке, к примеру.

[Ism]

Система не просто манипулирует сравнением скриншотов, но и пытается отреагировать на текущее содержимое экрана, с учётом разнообразных отклонений, что позволяет продолжить тестирование даже при возникновении проблем.

Т.е. и вывод, и все, что захотите, можно еще вытянуть для отчета об ошибке, к примеру.

В виде скриншота ? Не интересно, нужен текст ошибки

[Stauffenberg]

Ism

Да почему только в виде скриншота? Скриншот это дополнительная фича. Зайдите сейчас на страницу openQA, там четвертый сверху репорт:
2012-06 yast2 --gtk -i segfaults from c++ 11/98 incompat

нажимаем туда и попадаем на автоматически сгенерированный багрепорт с отладочной информацией
(gdb --args /usr/lib/YaST2/bin/y2base sw_single gtk).

[Ism]

Как он получает текст с виртуалки и всегда ли может это сделать ?

[Stauffenberg]

Как он получает текст с виртуалки и всегда ли может это сделать ?

Точно не скажу, но скорее всего просто пишутся скрипты, которые запускают тот или иной сервис/программу, анализируют echo $? или что-то еще, в зависимости от программы, и генерируют репорт.

Вот тут, к примеру, результаты тестов. Генерируются как сриншоты, так и видео, так и просто текст.
http://openqa.opensuse.org/results/openSUS...628-11.4gnome32

[Ism]

Тогда дело за малым , адаптировать это к системе сборки.