En el Paraje Natural Municipal Ermitorio de La Magdalena existen hasta seis yacimientos arqueológicos. El yacimiento principal de La Magdalena se sitúa en la cima del montículo, los otros cinco yacimientos se pueden encontrar en un radio inferior a 1 km.

El yacimiento principal de La Magdalena se adscribe a la Era de Bronce, y consiste en un perímetro amurallado que corona la cima y entre el que se intercalan algunas torres de planta circular. En el interior de este perímetro afloran restos intermitentes de alineaciones, la mayor parte de ellas de estructura cuadrangular.

Los hitos patrimoniales más destacables existentes en el Paraje y que, a su vez, constituyen sus elementos de identidad son el castillo, origen de la ciudad actual, y la Ermita de la Magdalena. Se trata de un lugar en el que se constata la ocupación humana desde el neolítico. Los restos del castillo son de origen islámico, datando sus orígenes en los siglos X u XI. Debió ser tributario de El Cid, pasando en el siglo XII a los Almorávides, siendo reconquistado en 1233.

El traslado de la población al llano fue autorizado por el Rey Jaime I en 1251 a su lugarteniente Ximén Pérez d’Arenós, fundándose la ciudad en 1252. El castillo se dispone de forma escalonada adaptándose a la forma del cerro. La fábrica es de tapial y mampostería al modo de las técnicas de construcción árabes. La Ermita de la Magdalena está excavada en la roca. En el siglo XV (1455) se construyó el pórtico, en 1456 la capilla, y a finales del mismo siglo se llevó a cabo el establo. En 1758 el maestro Vicente Pellicer le dio la configuración actual de ermita hospedería y torre adosada. En uno de sus muros interiores encontramos pinturas murales, que algunos autores fechan en el siglo XIV.

El entorno del Castell Vell y el Ermitorio de La Magdalena tiene una importancia muy grande para los castellonenses como espacio de uso público con múltiples funciones: lugar de culto, de esparcimiento, de disfrute paisajístico y de conocimiento del patrimonio cultural. En este sentido, hay que destacar sobre todo el día de la romería de las cañas, en el que una gran multitud se congrega en el lugar y sus alrededores.