En 1939, cuando todavía era un estudiante de primer año en el North High de Omaha, se inició en la industria musical escribiendo arreglos de baladas vocales para bandas locales. En 1941 le ofrecieron hacer una gira por Nueva Jersey con la banda de Dick Barry, pero luego de viajar, fue despedido después de dos actuaciones porque no podía leer la música a primera vista lo suficientemente bien.
Varado en Nueva Jersey porque no tenía suficiente dinero para regresar a Nebraska, finalmente se unió a la banda de Bob Astor. Para entonces la capacidad de composición de Hefti era impresionante. Se quedó un tiempo en Nueva York y en 1942 dejó la banda de Astor y tocó con Charlie Barnet y Bobby Byrne, viajando luego a Cuba para unirse a la banda de rumba de Les Lieber.
Fue trompetista y arreglista de orquestas de baile, como las de Harry James, Woody Herman y Charlie Spivak, entre 1941 y 1951. Fue arreglista de plantilla y arreglista para el “Arthur Godfrey Show” y el “Kate Smith Show” de la ABC, y también formó su propia orquesta, tocando en teatros, hoteles, clubes y universidades, e hizo muchas grabaciones.