Причина в том, что в Windows команда nslookup некорректно работает с русской кодировкой.
Это легко можно проверить
Решение: удалить или переименовать файл русификации nslookup.exe.mui
файл находится в папке %windir%\System32\ru-RU\
для начала делаем себя владельцем файла, даем полный доступ и удаляем(переименовываем).
Проверяем
Теперь можно продолжить установку VMware vCenter 5.1