Tiene origen árabe, y se le conocía como Bayyana en el siglo IX, durante el califato de Córdoba. Pasó a manos cristianas en el año 1241, cuando las tropas de Fernando III de Castilla, el Santo, tomaron posesión de Baena. Fue alojamiento para personalidades, como los Reyes Católicos y el Cardenal Cisneros, y prisión para Gonzalo Fernández de Córdoba y Boabdil, rey de Granada.
Fue a partir del siglo XV cuando progresivamente tuvo menor relevancia, pasando desde entonces por diferentes estados y reformas. Así, por ejemplo, se usó como residencia para los administradores de los duques de Sessa y Baena, y como cantera.
Actualmente tiene un maravilloso aspecto gracias a la intervención y restauración arquitectónica, ocupando el lugar que merece, al ser uno de los principales monumentos que visitar en Baena.
La entrada es accesible, y los baños están adaptados. El interior nos muestra las ruinas del castillo, siendo accesibles gracias a un juego de rampas que nos permite su recorrido. Alguna zona prensenta un suelo con piedras pequeñas, pudiendo presentar un problema para el usuario de una silla de ruedas. Podemos acceder a la parte superior usando las escaleras o un ascensor, pero sólo se puede acceder al mirador de todo lo alto por las escaleras.
Hay un parking abajo de la Plaza de Palacio (la que nos da paso al castillo).