Mannen surfade vid Long Reef i området som kallas Northern Beaches, ungefär en mil norr om centrala Sydney, på lördagsmorgonen. Hans kropp hittades med svåra bett på underkroppen.
Händelsen ledde till att ett antal stränder i Northern Beaches-området stängdes, meddelar New South Wales livräddningsorganisation. Drönare patrullerar strandlinjen för att bedöma faran för fler attacker.
Hajen beskrivs som stor, men vilken art det handlar om stod inte omedelbart klart.
Dödliga hajattacker är mycket ovanliga i Sydney. 2022 dödades en man vid den lilla stranden Little Bay. Men innan dess var det senaste fallet 1963.
I Australien som helhet dödas i snitt ungefär en person om året av hajar.
