No pide cómo hacerlo en específico, pero como le respondieron, sí se hace.
Va dentro del mismo comando de ejecución del archivo que cuando termine (de instalarse, o lo que fuere) se autodelete, o borre el ejecutable primario, o las dependencias que descomprime.
Esto, por lo general, se realiza en la carpeta “Temp”, en Windows (particularmente).