Esta fue la primera fortificación construida para proteger el puerto y la ciudad de San Juan, y esta estructura ha sido la residencia de los gobernadores de la isla desde 1544. Dicen que es el edificio más antiguo de uso público continuado del Nuevo Mundo. Se eleva sobre las murallas de la ciudad y se puede distinguir el conjunto desde el Paseo del Morro.

No hay que dejar de pasear hasta la entrada principal de la residencia, que se encuentra al final de la calle Fortaleza, la cual tiene una gran bandera de Puerto Rico. En la época navideña, el lugar está muy decorado y se puede ver un gran pesebre en los jardines de la Fortaleza.