Det uppger norska biståndsorganisationen Flyktninghjelpen och den USA-baserade flyktinghjälporganisationen International Rescue Committee (IRC) i ett gemensamt uttalande.
IRC uppger att de har tagit hand om "många" skadade, varav en person med skottskador, efter massgripandet.
"Många har vittnat om att de överfölls under tidiga morgonen och att deras tält brändes", säger NRC:s Libyenchef Dax Roque i uttalandet.
Hjälpcentret migranterna höll läger utanför stängdes i december i fjol, sedan dess har hundratals migranter i protest tältat utanför centret.
