Khalil har varit frihetsberövad sedan den 8 mars utan att vara anklagad för brott. President Donald Trumps regering vill deportera honom för hans deltagande i propalestinska demonstrationer på campus.
Domaren har gett regeringen fram till fredag att överklaga och satt en borgen för Khalil på en dollar.
Utrikesminister Marco Rubio har sagt att Khalils vistelse i landet riskerar att få ”allvarliga konsekvenser” för USA:s utrikespolitik.
Men samma domstol har redan tidigare slagit fast att det skälet sannolikt är i strid med konstitutionen. Nu säger domaren att Khalil visat att tiden i förvar gör oåterkallelig skada på hans karriär, familj och yttrandefrihet.
Under fjolårets propalestinska demonstrationer vid prestigefulla Columbia University agerade Khalil förhandlare mellan aktivisterna och lärosätets ledning.
Vita huset hävdar att propaganda för terrorstämplade Hamas delats ut vid protester som Khalil arrangerat.
