El establecimiento de la Compañía de Jesús en la ciudad de Andújar sería promovido por don Francisco Pérez de Vargas al ceder los bienes de su mayorazgo a la referida orden con la obligación de:

«fundar una casa de Colegio en esta ciudad o en los arrabales de esta en el sitio que le pareciere acomodado… ni que se bendan ni enagenaren para el dicho efecto ni otro alguno la propiedad de los dichos bienes porque mi voluntad determinada es que permanezcan para siempre jamas para alimentos de los dichos religiosos». 

Y todo ello a condición de que los Padres de la Compañía tengan:    

«dos o tres maestros para que enseñen a los niños la doctrina cristiana y leer y escribir y contar. . . y obligados a tener cuatro maestros que enseñen gramática y latín a los hijos de los vecinos y a los demás que la quisieren sin llevarles por ello intereses alguno para lo cual han de hacer en la dicha casa y colegio cuartos generales acomodados con parecer de los patronos que yo nombrare en uno de los cuales sea de leer los principios a los estudiantes mínimos,  el segundo a los menores,  en el tercero medianos,  en el cuarto los mayores y la retórica conveniente para que los dichos estudiantes salgan enteramente instruídos en la dicha latinidad y retórica»

Entre la muerte del benefactor (1606) y el cumplimiento de su voluntad hubo de transcurrir más de una década. En noviembre de 1614, la Compañía comunicaba al Concejo los motivos de la demora: «no pudiendose vender nada de la hacienda del fundador, D. Francisco Pérez de Vargas, no hay manera con las rentas de comprar el solar y hacer la fabrica para dicho colegio». Entre los bienes que figuraban en el mayorazgo se encontraban: 5 olivares, 25 hazas de secano, una viña, una huerta, cuatro casas, un molino de aceite y 31 censos redimibles que rentaban anualmente 77. 434 maravedíes

Ante la dificultad expuesta por la Orden, el Concejo dispone facilitar unas casas mientras se construía el nuevo colegio, al tiempo que donaba seis ducados para la realización del mismo. Cuatro años después, plazo que el concejo concedió a los jesuitas para la fundación de su casa conventual y construcción del colegio, todo permanecía igual. Por esta razón, en la sesión municipal de 9 de abril de 1620 el concejo manejó la posibilidad de romper todo compromiso con la Compañía y solicitar que fueran sustituidos por los PP Teatinos. En 1625, la presencia de la Compañía de Jesús en la ciudad era ya una realidad.    Estos bienes fueron enajenados y vendidos en pública subasta con la expulsión de la Orden en el reinado de Carlos III, pero lo que fue casa conventual y colegio, permanecieron en manos del Ayuntamiento, lo que permitió que se continuara impartiendo enseñanza en él durante algún tiempo.

El edificio inició su función sanitaria a partir de 1844 al convertirse en Hospital Militar, transformándose años después en hospital municipal.  A partir de 1869 el Hospital tiene  la  obligación de atender a  los enfermos de los  pueblos de su Partido,  de acuerdo con la orden dictada en ese año  por  la Diputación Provincial y desde julio de 1871 es declarado Hospital  provincial por la Diputación Provincial,  por lo que  su sostenimiento dejaba de ser una preocupación exclusiva del municipio.  Esta función sigue teniendo el edificio aunque reducida a la de un simple dispensario.

El edificio ha sufrido obras diversas desde el año de 1765, año de la expulsión de los jesuítas.  La organización interna se realiza en torno a un patio de doble piso, de vanos adintelados con amplios marcos de moldura ancha separados por pilastras toscanas.

Destaca en su interior la escalera, tipo imperio, realizada por don Francisco Gómez en el primer tercio del siglo XVII.  Su espacio cúbico cubierto con media naranja sobre pechinas decorada con carnosas hojas de estuco.  En el segundo piso una segunda cúpula de menor tamaño.