Es uno de los lugares más emblemáticos y más visitado de Agres y posiblemente de toda la comarca. La afluencia de gente a este entorno se cuenta por millares semanalmente, tanto por su importancia religiosa como por su entorno natural, ya que esta situado dentro mismo de la sierra Mariola y de su parque natural.
La tradición narra que el último día de agosto del año 1484, la Parroquia de Santa María de Alicante se incendió por completo, y que la Imagen de la Virgen desapareció.
A la mañana siguiente, en Agres pasó un gran acontecimiento, “ La Venida de la Virgen”.
Según cuenta la historia, un pastor, Gaspar Tomas, fue el que encontró a la Virgen, encima de un almez en las ruinas del castillo musulmán.
Allí fue donde la Virgen dió al pastor el brazo que le faltaba. Esta será la prueba ante el pueblo de la aparición de la Virgen.
La Imagen fue transportada a la iglesia, pero al día siguiente había desaparecido. Y se encontró nuevamente en el lugar donde había aparecido. Por ello, interpretaron que el deseo de la Virgen era ser venerada en aquel mismo lugar, construyéndose en un principio una humilde ermita.
A finales del año 1577 se autorizó a la fundación del Convento de la Virgen del Castillo de Agres, gracias a la afluencia de los devotos de la Virgen. El año siguiente comenzaron las obras, y acabó siendo habitado por religiosos franciscanos hasta la segunda mitad del siglo XX.
La primitiva capilla fue ampliada. Se construyó una iglesia de una única nave muy sencilla y de estilo renacentista. La práctica de la pobreza era el punto central de los religiosos, de ahí la sencillez del edificio construido ya que nunca ha sido de grandes proporciones arquitectónicas. En su primera época destacó por su modestia y austeridad. El principal ingreso de la casa procedía de la limosna y las ofrendas de los fieles. En las épocas de recolección de frutos, los religiosos pedían aquello que se recogía solo en los pueblos de Agres y Alfafara. Pero fue tal el reconocimiento y la asistencia que se realizaba al Santuario de la Virgen, que a petición del Rey Felipe II, el Papa Sixto V otorgó en el año 1586 una bula que concedía la gracia de pedir limosna por todos los reinos de España. Concesión que fue confirmada por Benedigto XIV en otra bula al año 1756. Los religiosos al hacerse cargo del Santuario de la Virgen, tenían como fin especial la animación cultural.
Las distancias que separaban los pueblos de donde procedían los peregrinos del Santuario hacían imposible que en una jornada se realizara el viaje. Por eso los fieles debían pernoctar en el mismo Santuario, perturbando la tranquilidad de los religiosos. Esto dio lugar a plantearse la construcción de un edificio que sirviere de hospedaje (independiente del convento). El edificio del que hoy aún podemos contemplar sus ruinas, se construyó en el año 1649, y estuvo en uso hasta el fin de la exclaustración de 1835. Después fue deteriorándose hasta principios de la década de los 80 cuando se realizaron las últimas reformas, tanto en el interior como en la cubierta del edificio.
La importancia de este lugar viene determinada sobre todo por la gran afluencia de peregrinos y visitantes que recibe durante todo el año. Sin embargo, cuando mas visitas se realizan es durante el mes de septiembre, principalmente porque son las fiestas a la Virgen, y a partir de estas, todos los domingos del mes se celebran las peregrinaciones a la Virgen.