Uppgiften om att de första fångarna släppts kom från anhöriga på onsdagen.
Sammanlagt ska 553 fångar som dömts för "olika brott" släppas fria i Kuba. Flera av dem greps när de deltagit i regimkritiska protester.
Beskedet om att USA häver terrorstämpeln kom från USA:s avgående president Joe Biden i tisdags. Vatikanen har varit delaktig i förhandlingar om frisläppandet av fångar i Kuba.
