Rufai gjorde 65 A-landskamper och vaktade Nigerias mål i lagets två första VM-slutspel, i USA 1994 och Frankrike 1998, då laget båda gångerna tog sig till åttondelsfinal. Han var dessutom lagkapten i mästerskapet i USA.
Några månader före VM sommaren 1994, under våren samma år, hade Rufai blivit en profil i hemlandet när laget vann Afrikanska mästerskapen i Tunisien. Rufai blev bland annat hjälte i straffläggningen mot Elfenbenskusten i semifinalen.
Peter Rufai blev 61 år.