La Cofradía de Nuestra Señora de la Concepción Dolorosa se fundó en 1730 en el convento de San Luis "El Real", como reorganización de la antigua Hermandad de la Pura y Limpia Concepción. La de Nuestro Padre Jesús Orando en el Huerto existía al menos desde 1735 en el mismo convento (encargándose la actual efigie del señor en 1756). En 1920 se fusionan ambas hermandades, naciendo así la actual corporación.
Tras los atentados y quema de iglesias y conventos de los años 30 (de los que solo se salvó la cabeza del Señor), la Hermandad adquiere la imagen de Nuestra Señora de la Concepción, una dolorosa implorante de principios del siglo xviii, anónima. Es en el año 1942 cuando dicha corporación vuelve a realizar su salida procesional.
En 1994 se bendice la imagen letífica de la Hermandad, Nuestra Señora de la Oliva.