Es un dels llocs més emblemàtics i més visitat a Agres i possiblement a tota la comarca, la afluència de gent a aquest entorn es conta per milers setmanalment, tant per la seva importància religiosa com pel seu entorn natural, ja que esta situat dins mateix de la serra Mariola i del seu parc natural.
La tradició narra que l’últim dia d’agost de l’any 1484, la Parròquia de Santa Maria d’Alacant es va incendiar per complet, i que la Imatge de la Verge va desaparèixer.
Al dia següent de matí, en Agres passaria un gran aconteixement, “ L’Avinguda de la Mare de Deu ”.
Segons conta la historia, un pastor, Gaspar Tomàs, va ser el que va trobar a la Mare de Deu, dalt d’un lledoner en les ruïnes del castell musulmà.
Allí serà on la Verge li va donar al pastor el braç que no tenia, i que serà la prova davant del poble de l’aparició de la Mare de Deu.
La Imatge va ser transportada a l’església, però al dia següent havia desaparegut. I es va trobar al lloc on el dia 1 havia aparegut. Per això, van interpretar que el desig de la Verge era ser venerada en aquell mateix lloc. Construint-se allí en un principi una humil ermita.
A finals de l’any 1577 es va autoritzar la fundació del Convent de la Mare de Deu del Castell d’Agres, gràcies a l’afluència dels devots de la Verge. L’any següent van començar les obres, i va acabar sent habitat pels religiosos franciscans fins la segona meitat del segle XX.
La primitiva capella va ser ampliada. Es va construir una església d’una única nau molt senzilla i d’estil renaixentista. La pràctica de la pobresa era el punt central dels religiosos, per això la senzillesa de l’edifici construït ja que mai ha sigut de grans proporcions arquitectòniques .En la seua primera època va destacar per la seua modèstia i austeritat. El principal ingrés de la casa procedia de l’almoina i les ofrenes dels fidels. En les èpoques de recol•lecció de fruits, els religiosos demanaven del que es recollia, en principi només als pobles d’Agres i Alfafara. Però va ser tal el reconeixement i l’assistència que es realitzava al Santuari de la Verge, que a petició del Rei Felip II, el Papa Sixto V va atorgar en l’any 1586 una bula que concedia la gràcia de demanar almoina per tots els regnes d’Espanya. Concessió que va ser confirmada per Benedigto XIV en altra bula a l’any 1756. Els religiosos al fer-se càrrec del Santuari de la Verge, tenien com a fi especial l’animació cultural.
Les distàncies que separaven els pobles d’on procedien els peregrins del Santuari feien impossible que en una jornada es realitzara el viatge. Per això els fidels havien de pernoctar al mateix Santuari, destorbant la tranquil•litat dels religiosos. Açò va donar lloc a plantejar-se la construcció d’un edifici que servira d’hostalatge (independent del convent).
L’edifici que huí encara podem contemplar les seves ruïnes, es van construir a l’any 1649, i va estar en ús fins l’exclaustració de 1835. Després va anar deteriorant-se fins el principi de la dècada dels 80 que es van realitzar les ultimes reformes, tant en l’interior com a la coberta de l’edifici.
La importància d’aquest lloc ve determinada sobre tot per la gran afluència de peregrins o visitants que rep durant tot l’any. Però, quan mes visites es realitzen es durant el mes de setembre, principalment perquè son les festes a la Mare de Deu, i a partir d’estes, tots els diumenges del mes es celebren les Peregrinacions a la Verge.