Не знаю что там насчёт "плавности", но если при выходе из openbox иксы выгружаются и загружаются снова - значит они (через gdm, надо полагать) настроены таким образом (чтобы быть всегда запущеными). А вообще - openbox просто завершается, а уж что после этого делают иксы/GDM - дело не опенбокса...
Т.е. копаться, полагаю, в настройках GDM и его запуска.