El Carmen de la Victoria está situado en un lugar donde hubo cármenes desde la época árabe, en un área tradicionalmente ocupada por huertos desde la época nazarí, en el antiguo barrio islámico de Axares. Su origen se debe a la agregación de diversas propiedades, procedentes de la desamortización del desaparecido Convento de Nuestra Señora de la Victoria. Su forma actual se fija a fines del siglo XIX, cuando se unifican, el primitivo Carmen de la Victoria, llamado Carmen Olivarillo y el Carmen Percal, a ambos lados de la muralla árabe de la cuesta del Chapiz.

Se trata de una finca urbana de recreo, formada por una casa principal y diversos jardines de estilo regionalista estructurados por paratas y escaleras. Desde 1944, el Carmen pertenece a la Universidad de Granada, habiéndose destinado a Casa de Marruecos, residencia de postgraduados, Colegio Mayor y, en la actualidad, a Residencia de Invitados. El edificio actual, proyectado por Miguel Olmedo Collantes en 1963 y ampliado poco tiempo después, en 1967, afectó a los huertos de la finca, aunque no a sus jardines, que han sido restaurados entre 1996 y 1998.