Если вы работаете под 64-битной Windows, то и старые скомпилированные 16-битные программы (включая все .com) не будут работать. 16-битная подсистема не поддерживается (да и 32-битная Windows лишь частично поддерживает 16-битные приложения).
Зачем вам писать программы для устаревших архитектур? Если только в целях обучения, используйте виртуальные окружения (DOSBox, VirtualBox, etc.), ставьте нормальный DOS (FreeDOS) и работайте. В любом случае NTVDM не предоставляет полной совместимости.
Подробнее о различии 32-битных и 64-битных Windows, в том числе о поддержке 16-битных приложений на сайте Microsoft.