Буває ситуація коли windows backup server crashed при спробі налатувати.
Я виявив це буває коли місце призначення було змінено чи щось з наявністю дисків.
Рішень багато не знайшов, тому знайшов для себе просте рішення зачистити каталог  командою:

wbadmin delete catalog

Після цього налаштування починає працювати.