En pleno centro de la ciudad, junto al Coso, se localiza el Castillo del Moral, una fortaleza de época medieval, declarada bien de interés cultural en la categoría de Monumento.
Su parte central, la más antigua, fue probablemente realizada en el siglo XI, en la época de esplendor de la Lucena judía.
Este castillo, en origen, formaba parte del antiguo recinto amurallado de la villa, cuyas murallas se levantaban desde el Paseo del Coso, siguiendo por la calle Juan Valera, Julio Romero de Torres, la calle las Tiendas, Plaza Alta y Baja hasta llegar al propio castillo.
Su estructura inicial de planta cuadrada tiene torres en los ángulos, la Torre de las Damas y del Homenaje, Torre del Mediodía y la principal la Torre del Moral. Entre estas últimas destaca la Torre del Moral, de planta octogonal y cubierta barroca, muestra al exterior un escudo que representa de forma esquemática una parra zarzamora que la da nombre a la fortaleza.
También destaca la Torre del Homenaje, posible celda del último rey granadino Boabdil “El Chico”, capturado en la batalla del Martín González, en 1483, a manos del regidor lucentino Martín Hurtado. Al conjunto principal del castillo lo rodea una segunda muralla de sillería y mampuesto de dos metros de espesor entre los que se encuentra un foso, esta segunda muralla es la que se ve desde el exterior.
El conjunto monumental conserva una única puerta exterior de la época con arco apuntado y adintelado hacia el interior del edificio.
Desde el siglo XVI el castillo es trasformado en palacio residencial de los señores de Lucena, los Marqueses de Comares para posteriormente pasar a ser Palacio y Castillo de los Medinaceli.
Actualmente alberga en su interior la Oficina Municipal de Información Turística y el Museo Arqueológico y Etnológico de la ciudad, con una serie de salas expositivas que tratan de la evolución de la vida en la tierra y la evolución cultural y física del ser humano, y la evolución hacia la modernidad de la ciudad de Lucena.