Fue fundado por Don Juan de la Cerda, Duque de Medinaceli en 1504 y entregado a la Orden de los Mínimos de San Francisco que lo mantuvieron durante tres siglos y medio. Fue el primer convento de El Puerto relacionado con la evangelización de América. De estilo gótico tardío, el conjunto está formado por la iglesia, el claustro y las salas capitulares.
Desde su fundación este edificio ha tenido múltiples usos. Su primer destino era ser panteón ducal, pero más tarde sería alterado. Durante la Edad Moderna sufrió los efectos de la ocupación anglo-holandesa en 1702 y del terremoto de 1755. En el siglo XVIII fue sede de estudios teológicos y artísticos, y en el XIX, seminario y noviciado jesuita. Más tarde se destinó como hospicio, albergue y hospital de heridos de guerra.
Tras la desamortización de los bienes eclesiásticos a mediados del siglo XIX pasó a manos del Estado.
Su fama, sin embargo, se debe a que albergó desde 1886 y hasta 1980 el Penal del Puerto. Por allí pasaron, durante la II República y el franquismo, presos políticos, como Ramón Rubial, presidente del PSOE o Lluís Companys, ex presidente de la Generalidad de Cataluña, y delincuentes de gran popularidad, como El Lute.
Actualmente se usa para actos culturales y está declarado Bien de Interés Cultura
Durante su visita podrá contemplar la iglesia, el claustro y las salas capitulares, donde podrá visualizar a modo de guía, un vídeo introductorio de alrededor de 11 minutos, (no subtitulado), en cuatro pantallas explicativas situadas en los lugares más destacados del edificio. Además de dos exposiciones, una de planimetría de El Puerto de Santa María, entre siglos XVI a XX y otra titulada “Imagen y Poesía del Vino Fino”.
Accesibilidad:
La entrada accesible se puede efectuar por la puerta de la iglesia, (muestra exquisita del arte ojival), además existe otra puerta accesible posicionada un poco más a la derecha. El interior de la iglesia es totalmente plano, nada más entrar a mano derecha se encuentra el acceso al claustro, se realiza mediante una rampa de madera. Una vez él, se puede deambular sin ningún problema. El acceso a las salas capitulares se realiza a través de rampas muy ligeras, igualmente la deambulación es muy buena.