La Porta di​​​​​​​ Santo Stefano fa parte di un sistema di porte che permettevano l'accesso al quartiere di origine medievale della Pigna. Le porte di accesso si presentano in rapida successione: ognuna di esse corrisponde ad una diversa cerchia di mura, in seguito al costante ampliamento della città durante il tempo. Lo scopo di queste mura era di difendere la cittadella dalle incursioni dei pirati barbareschi di provenienza nordafricana. La porta più antica è del 1321, come si può notare dalla lapide posta sopra ad essa. Qui compare anche un'antica rappresentazione di Sanremo, raffigurata come città turrita affiancata da una palma. Di fianco a quest'antico ingresso si apre un cunicolo coperto detto "Valla", dal latino valium , indicava lo spazio che doveva essere lasciato libero sotto le mura. L'espansione edilizia ha portato alla sua copertura da parte di abitazioni pensili, dato che, era comunque rimasta la proibizione di costruirvi sopra; tali soluzioni si rendevano necessarie per la continua ricerca di spazi abitativi entro i limiti imposti dalle mura.