Loy, der wegen seiner meist schwarzen Trikots den Spitznamen "Schwarzer Panther" trug, spielte von 1954 bis 1967 für Frankfurt und absolvierte insgesamt 349 Pflichtspiele. Unter anderen hütete er beim Finale des Europapokals der Landesmeister 1960 gegen Real Madrid, das häufig als "Jahrhundertspiel" bezeichnet wird und mit 7:3 an Real ging, das Tor.
1959 wurde er mit der Eintracht deutscher Meister und stand auch beim ersten Bundesligaspiel im Jahr 1963 zwischen den Pfosten.