1917. november 6-án született Budapesten, négygyermekes családban. Édesanyja zongorista volt, otthonukban gyakran csendültek fel a kamarazene hangjai. Korán kezdett zenét tanulni, 17 évesen vették fel a Zeneakadémia gordonka szakára, ahol 1938-ban végzett Schiffer Adolf növendékeként. Fő tárgya mellett kamarazenét tanult Waldbauer Imrétől és Weiner Leótól, magánúton pedig zeneszerzői és hangszerelési tanulmányokat folytatott Kadosa Pálnál és Strasser Istvánnál.
1941-től munkáskórusokat vezetett, közben saját vonósnégyest alapított, amellyel 20. századi szerzők – Bartók, Schönberg, Berg, Hindemith – darabjait népszerűsítette. Ekkor születtek első művei – Zongoratriója, valamint I. vonósnégyese. A második világháború végén, 1944-ben letartóztatták, egy évig a buchenwaldi koncentrációs táborban raboskodott.
1946-ban az Operaház szólócsellistája, mellette a Filharmóniai Társaság titkára lett. 1948-tól két évig az Operaház főtitkáraként működött Tóth Aladár igazgatása alatt, aki atyai jóbarátja és példaképe lett, szavai szerint ő vezette be az opera rejtelmeibe. Az Operaház vezető karmestere ebben az időszakban Otto Klemperer volt, az intézmény ekkor élte egyik aranykorát, Mihály András maga is csellózott a világhírű dirigens kezei alatt.