La casa de la Torre o casa de los Cárdenas y Valdivia está situada en la calle Maestra. Probablemente fue construida en tiempos de don Cristóbal Cárdenas y doña Teresa Valdivia a finales de la primera mitad del siglo XVI y de la que solo persiste en la actualidad su torre mirador, pues su patio renacentista y demás dependencias desaparecieron en fecha no muy lejana. En 1987 pasó a ser propiedad del Ayuntamiento.  Hoy, una vez restaurada, acoge la Concejalía de Medio Ambiente y de la Juventud.

La torre está dispuesta en chaflán para que su portada, en el cuerpo central, obtenga una visualización completa que el ancho de la calle le negaría de otra forma, una fachada plana haría resbalar la vista y la construcción carecería del protagonismo que reclama al espectador que se acerca a ella desde la calle Alférez Moreno, antes Cepeda.

Construída en tapial y ladrillo, reservándose este último material para los ángulos como elemento de refuerzo.  Se organiza la torre mirador en tres pisos de tamaño desigual e  individualizados mediante cornisas. En el primero, la puerta en piedra, con vano adintelado. Entre cornisas, un entablamento con un hiperdesarrollado friso.  El balcón, que aprovecha la saliente cornisa como voladizo, posee frontón triangular con medallón en su interior.  Está rematado con el escudo de los Cárdenas sobre cueros recortados, timbrados con yelmo y la cruz acolada de Santiago.  En su flanco derecho, el linaje de los Cárdenas portado por niños togados y cruz acolada de Calatrava.  En el izquierdo, el linaje de los Valdivia.   El mirador es de ladrillo y posee un arco de medio punto en cada uno de sus frentes.

El linaje Cárdenas está relacionado fundamentalmente con las ciudades de Córdoba, Baeza y Andújar. En nuestra ciudad la primera referencia que se tiene de esta influyente familia se remonta a Juan de Cárdenas, que vivió en la segunda mitad del siglo XV, del cual proceden los Cárdenas de Andújar.  Si bien los Cárdenas emparentaron con los linajes más distinguidos de la ciudad como consecuencia de una sabia política matrimonial, su relación con el linaje Valdivia fue muy estrecha. El mayorazgo de la Casa de la Torre es una muestra de ello.

Teresa de Valdivia Cárdenas, hija de Diomedes Valdivia Palomino, natural de Porcuna, y de Beatriz de Cárdenas Carranza, casó con Cristóbal de Cárdenas Lucena, que son los que construyen la casa que conocemos con el nombre de la Torre y que hace referencia al mayorazgo que encabeza.