Este palacio, también conocido como Casa Cavero y Vasquez de Acuña, se encuentra al frente del Palacio de Torre Tagle. Tiene una fachada de color amarillo y sus balcones de color verde. Al igual que su vecino del frente, data del siglo XVIII, sin embargo la gran diferencia de estos balcones es que el Palacio Goyeneche cuenta con ventanas de vidrio que los hacen más modernos a la vista; son dos balcones que acompañan a cada lado la puerta principal.

Actualmente esta casa pertenece al Banco de Crédito del Perú (BCP) quién aportó dinero para su restauración. Por el momento la casona sólo se puede apreciar desde afuera. Espiando a través de sus rejas se puede apreciar el patio interior.