Запускаю свою программу на разных версиях Windows - все нормально. Но на W2k8 SP2 x64 - зависание намертво сервака (до резета) с VMProtect. Без VMProtect программа работает в штатном режиме. 
Windows случаем не в debug моде?
да. в дебаг. это можно обойти?
В дебаг режиме Windows при выполнении int 03 (один из методов определения отладчика) ждет ответ от удаленного отладчика, а раз его нет, то этот процесс затягивается на неопределенное время и Windows тупо висит. Лечится выключением дебаг режима.