En säkerhetskälla säger till nyhetsbyrån AFP på söndagen att "150 personer var ombord på fartyget som sjönk" medan en annan källa säger att "eftersökningar pågår".
FN anger att minst 68 personer hittills hittats döda och att tiotals saknas.
Provinsens säkerhetsdirektorat skriver i ett uttalande att säkerhetsstyrkorna "för närvarande genomför en stor operation för att bärga kropparna av ett betydande antal etiopiska migranter som drunknade utanför Abyans kust när de försökte illegalt ta sig in på jemenitiskt territorium".
”Många kroppar”
"Många kroppar har hittats på olika stränder, vilket tyder på att ett antal offer fortfarande saknas till sjöss", fortsätter uttalandet.
Abyan sträcker sig i nordostlig riktning från hamnstaden Aden.
Det är oklart vad som orsakat händelsen. Men sjöfarten i området är plågad av flera säkerhetsmässiga utmaningar. Ofta saknar båtar och fartyg grundläggande säkerhetsutrustning.
Dessutom tar nätverken som smugglar människor i den konflikthärjade regionen generellt sett stora risker i sin verksamhet.
Utsatts för övergrepp
Vidare attackerar både pirater och de Iranstödda Huthirebellerna ofta fartyg som rör sig i farvattnen utanför Jemens kust.
Trots kriget som har härjat Jemen sedan 2014 har den irreguljära migrationen via det fattiga landet fortsatt, särskilt från Etiopien, som också har härjats av etniska konflikter.
I bland annat Saudiarabien och Förenade Arabemiraten finns många utländska arbetare från Afrika och södra Asien.
Enligt FN har tiotusentals migranter som utsatts för övergrepp under sina resor blivit kvar i Jemen.