Johann Michael Haydn se narodil 14. září 1737 v dolnorakouském městečku Rohrau poblíž maďarských hranic. Jeho otcem byl kolář Mathias Haydn, který pracoval také jako "Marktrichter“, což je úřad podobný starostovi. Mathias sám byl nadšeným amatérským hudebníkem, který se v době své tovaryšské kariéry sám naučil hrát na harfu a staral se také o to, aby se jeho děti naučily zpívat. V roce 1745 tedy Michael Haydn vstoupil do sboru katedrály Sv. Štěpána ve Vídni, kde jeho starší bratr Joseph už od roku 1740 působil jako sopránový sólista. A byl to právě on, který podle nařízení sbormistra v kostele Johanna Adama Reuttera byl pověřen, aby hudebně svého mladšího bratra vzdělával. Společně strávili ve sboru tři roky a když Josephův hlas zmutoval, Michael za něj nastoupil jako sólista a zůstal ve svatoštěpánském sboru až do roku 1755.