Sergej Rachmaninov se narodil v ruské aristokratické rodině. Jeho otec Vasil Rachmaninov, vojenský důstojník, získal sňatkem s dcerou bohatého generála, Lubov Butakovou, věnem pět venkovských statků. Odešel tedy z armády a rozhodl se vést život bohatého statkáře. Za poměrně krátkou dobu však svým nezřízeným životním stylem, karbanictvím a sukničkářstvím připravil rodinu prakticky o celý majetek A tak když bylo malému Sergejovi devět let, rodina přišla už de facto o všechno a musela se přestěhovat do bytu v hlavním městě Petrohradě. Není asi s podivem, že se manželství Sergejových rodičů rozpadlo, ovšem z politických a náboženských důvodů rozvod nepřicházel v úvahu. Otec ovšem od rodiny odešel, přenechal manželce byt a matka tak zůstala se šesti dětmi sama.