Tuvo diferentes nombres y fue sede de todos los gobiernos de la ciudad: juntas, triunviratos, directores supremos, gobernadores y presidentes.
En 1580, en el mismo solar donde está la mansión, Juan de Garay construyó un fuerte rodeado por un foso y un muro: la Real Fortaleza de San Juan Baltasar de Austria, que luego se llamó Castillo de San Miguel.
En la década de 1820, Bernardino Rivadavia ordenó sustituir el puente levadizo por un pórtico de estilo neoclásico.
La fortaleza fue demolida, hacia 1850, para construir la Aduana Nueva, proyecto del inglés Edward Taylor. Del antiguo edificio solo quedaron un arco y uno de los edificios virreinales, que fue refaccionado como casa de gobierno. Sarmiento la dotó de jardines y pintó sus fachadas de color rosado.
Dato de color: Algunos sostienen que el rosado se debe a una mezcla entre cal y sangre de vaca, que daba consistencia a la pintura.
La obra de la casa actual comenzó en 1873, cuando se construyó la Casa Central de Correos y Telégrafos. Ante el esplendor de la nueva obra, el presidente Roca decidió unir a ella la casa de gobierno. Para esto, convocó al arquitecto italiano Francesco Tamburini.
Con un gran arco central y dejando las fachadas casi intactas, Tamburini le imprimió su estilo clasicista italiano.
En 1937, se decidió demoler el edificio para crear perspectiva desde la Plaza de Mayo hacia el río. Pero, cuando Ortiz asumió la presidencia, ordenó frenar las obras de derrumbe y reconstruir la fachada sobre la actual calle Yrigoyen.
Dato de color: Para los festejos del bicentenario de la Revolución de Mayo, se inauguró el Museo del Bicentenario y se colocó el gran reloj en el frente del arco central, donado por la empresa Gnomon. © Toribio Achaval