Esta casa solariega del siglo XVI, conocida también como Casa de la Aduana, ocupa toda una manzana que linda con los altozanos Monseñor Estepa (ante de Santa Ana), Dean Luis Pérez de Vargas y la calle Aduana. 

Construída en la primera mitad del siglo XVI en estilo renacentista, sería remodelada a finales del siglo XVIII construyéndose su bello patio porticado.  En el siglo XIX y primera mitad del XX fue cuartel de Caballería de la Guardia Civil.  Terminó siendo casa de vecinos. A finales de la década de los setenta en su fachada oeste se empotró la portada de los Pérez de Vargas y Gormaz, alterándose erróneamente el proyecto original de los Segundo de Cárdenas y desvirtuando el sentido urbano por el que surge el altozano de Santa Ana. En 1985, el Ayuntamiento cedió el edificio al Ministerio de Hacienda, que se encargó de restaurarla para abrir en él sus oficinas.

Su portada, construida en piedra arenisca, está emplazada en el lado noroeste de la fachada para obtener una visibilidad que la angostura de la calle le niega y poder visualizar desde ella la parroquia de Santiago, muy vinculada a los Cárdenas.

Se organiza la portada en dos cuerpos de desigual altura.  En el primer cuerpo, de mayor tamaño, el vano de la puerta con arco de medio punto que descansa sobre la imposta.  Su rosca estriada entre bandas concéntricas y enmarcado entre pilastrillas corintias que están sostenidas por figurillas antropomórficas y un arquitrabe que se conciben a modo de alfíz.  Las albanegas decoradas con medallones. La similitudes que se aprecia entre esta puerta y la de la fachada norte de la parroquia de Santa María, de la que toma la mayor parte de sus elementos: arco de medio punto de parecida luz, decoración de la rosca, los medallones, el encuadre del vano, las aldabas, las bisagras, etc. nos inducen a pensar   en una misma autoría, que recaería, por tanto, en maese Domingo de Tolosa.

El segundo cuerpo de la portada, de menor tamaño, posee un vano rematado con frontón triangular, decorado con un medallón, y flanqueado con escudos sobre cueros recortados, timbrados y con yelmo.  El de lado derecho con los linajes Cárdenas, Valdivia y Palomino y el del izquierdo con el de los Gormaz y Párraga. Escudos que son una aportación posterior al diseño original de la portada.  

Su patio interior, fruto de la remodelación que se hiciera en el edificio en el siglo XVIII, se puede considerar como uno de los más bellos de la ciudad.  En el piso superior doble arcada que se corresponde a una del inferior, obteniéndose una vistosa movilidad.  Relación que existe en la facha del Ayuntamiento, que sería tomada como modelo.   La sala paralela a la línea de fachada, y comunicada con el patio posee un artesonado decorado con el emblema de los Cárdenas, que sería restaurado en 1986.

Es muy posible que la casa fuera el solar originario del linaje Cárdenas, es decir, de don Juan de Cárdenas, alcaide del castillo de Marmolejo y de la Aragonesa, y de su esposa Isabel de Párraga Carrillo. Juan de Cárdenas una de las figuras claves de la Andújar del siglo XV bien merece una pequeña reflexión.En el “Memorial del linaje de los Caballeros Cárdenas” de 5 de abril de 1665, se hace referencia a la distinción y nobleza de su figura, afirmándose: “También consta el mucho deudo que hacían los duques de Maqueda a los cavalleros Cardenas de Anduxar de una carta que la Reina doña Isabel escribió a Juan de Cárdenas como a caballero de mucha confianza y pariente de don Gutierre de Cárdenas y del Maestre don Alonso, sus primados y balidos.”

                   ( Carta de la Reina de fecha 17 de diciembre de 1474)

Don Juan que había defendido la causa del príncipe Alfonso, hermano Isabel la Católica, enfrentándose por ello a gran parte de la nobleza de Andújar, partidaria de la causa del rey Enrique IV, sufriría más de una incomprensión a causa de ello.  Como consecuencia de su fidelidad al príncipe Alfonso, la reina le recompensaría nombrándole alcaílde del castillo de Marmolejo y la Aragonesa (4 de marzo de 1473).

La razón por la que se conoce esta casa solariega como la de los “Segundos de Cárdenas” debe ser porque en ella no se quedaría el primogénito sino la segunda línea familiar.