Angela Rayner avgår efter att ha brutit mot de etiska regler som gäller för ministrar.
Ersätter gör utrikesminister David Lammy, som samtidigt blir ny justitieminister.
Ny utrikesminister blir Yvette Cooper, tidigare inrikesminister som ersätts av justitieminister Shabana Mahmood, rapporterar brittiska medier.
Minister får gå
Rayner är inte ensam om att få lämna regeringen. Starmer passar på att möblera om bland sina medarbetare och bland andra Ian Murray, minister för Skottland, och Lucy Powell, majoritetsledare i underhuset, fick gå på fredagen.
Ministerkarusellen var inte oväntad efter några veckors turbulens, där inte minst Rayners affärer varit i skottgluggen hos politiska motståndare i såväl parlamentet som i pressen – samtidigt som premiärminister Keir Starmers regering brottats med sjunkande förtroendesiffror.
Rayners skatteförseelse, som en oberoende utredning bekräftar, gäller utebliven inbetalning i samband med en lägenhetsaffär i somras.
”Jag tar fullt ansvar för det här felet”, skriver Rayner i sitt avgångsbrev till premiärminister Keir Starmer.

Tjänade halv miljon
Rapporter har antytt att Rayner sparade 40 000 pund – drygt 500 000 svenska kronor – genom att inte betala korrekt stämpelskatt vid bostadsaffären.
Rayner har varit en av Labour-regeringens mest profilstarka namn. Keir Starmer har i veckan flera gånger försvarat Rayner, men efter att utredningen presenterats tvingades hon bort.