Brorsonen, den tidigare demokratiske kongressledamoten Joe Kennedy, beskriver Robert F Kennedy som ”ett hot mot varje amerikans hälsa och välbefinnande” i ett uttalande.
"Ingen av oss kommer att slippa den smärta han tillfogar."
Hälsoministerns syster Kerry Kennedy säger i sin tur att medicinska beslut "hör hemma i händerna på utbildade och legitimerade proffs, inte inkompetenta och vilseledda ledare”, skriver AP.
Avgångskravet kommer efter att Kennedy i veckan i en utfrågning i senaten försvarat sina försök att begränsa möjligheten till covidvaccinering och beslutet att sparka ledningen för smittskyddsmyndigheten CDC.
President Donald Trump har efteråt försvarat Kennedy med att han ”menar väl”, men samtidigt ifrågasatt hälsoministerns linje för covidvaccin.
— Jag tycker att man måste vara väldigt försiktig när man säger att vissa människor inte behöver vaccineras, sade Trump och tillade att vaccinerna ”fungerar” och inte är "kontroversiella" i fredags.
Robert F Kennedy är sedan länge en framträdande vaccinskeptiker och som minister har han fortsatt att ifrågasätta forskning och experter.
Det är inte heller första gången som familjemedlemmar och släktingar kritiserar honom. Röster har höjts både mot hans presidentvalskampanj i fjol och hans nominering som hälsominister.
