A településen már az Árpád-korban plébánia működött, a vidéken a karthauziak és a pálosok is jelen voltak. A török uralom alatt a csaknem elnéptelenedett faluban eleinte megbízott laikusok végezték a papi teendőket, majd a jezsuiták tartottak fenn missziót közel fél évszázadig, több-kevesebb sikerrel. A búcsújárás története ezekben a nehéz időkben kezdődött: 1643-ban az első Andocsra érkező jezsuita szerzetes feljegyezte, hogy a teljesen protestánssá vált településen az üres és elárvult Mindenszentek- templomban egyedül a Szűzanya szobra maradt épségben, amelyet már akkor csodatevő szoborként ismertek. Az 1600-as évek második felében azonban Andocs az ország egyik legjelentősebb búcsújáró helyévé vált Horváth Miklós jezsuita vezetése alatt. A török megszállást követően újra gondozó nélkül maradt a templom, de a pusztulást látva a veszprémi püspök a településre hívta a ferenceseket, akik 1716-ban érkeztek a faluba. Első kolostoruk leégett, így 1725-ben új rendház alapkövét tették le – e barokk épületet láthatja a mai zarándok is. A ferencesek ápolták két évszázadon keresztül a búcsúk hagyományát, miközben rendházuk is egyre gyarapodott. Ahogyan Csóti Csaba feljegyezte Andocs történetét feldolgozó könyvében, a ferencesek jól tájékozott résztvevői voltak a korabeli szellemi életnek. Könyvtáruk megyeszerte ismert intézmény volt, 1848-49-ben pedig rendszeresen futár hozta a leveleket, így értesültek az ország sorsáról. S bár a kiegyezés után a szerzetesrendek kissé visszaszorultak a közéletből, az andocsi rendház továbbra is a környék fontos szellemi, lelki központja maradt. Egészen 1950-ig, amikor a kolostort átalakították téeszirodának.
Az épület ma újra a plébánia tulajdona, a hozzá tartozó hatalmas parkkal, amelyben zarándokszállás is épült. A templom főünnepén, Nagyboldogasszony napján, mikor több ezer hívő érkezik a templomhoz, a kertben felállított szabadtéri oltárnál tartják az ünnepi szentmisét. Az augusztusi búcsún kívül azonban más Mária-ünnepen, sőt szinte minden hétvégén érkeznek zarándokok a Szűzanyához, hogy közbenjárását kérjék. A több mint ötszáz éves andocsi kegyszobor egyike a különleges, öltöztethető Mária-szobroknak. Az otthonául szolgáló hajdani gótikus kápolna ma a ferencesek építtette templom szentélye. A kápolna régi fából épült oltárát is lebontották, de a Szűzanya szobrán kívül megőrizték róla a Szent Dorottyát és Katalint ábrázoló festett faragásokat is – a ma is látható Zichy Ádám által készíttetett oltárt tulajdonképpen e három szobor köré emelték. A régi kápolnát azért is építették be – csaknem eredeti formájában – a barokk templomba, mert a legenda szerint a Szűzanya szobrát épülettel együtt hozták angyalok Kalocsáról, a mohácsi vész előtt. A történet egy másik változata szerint akkor, amikor a törökök már felforgatták a várost, és a kápolnát istállónak akarták használni. A legendát Kalocsán is őrzik, az ottaniak ezért szintén magukénak érzik az andocsi Mária-szobrot. A ma is látható templomot 1747-ben szentelték fel – erre az alkalomra ünnepi ruhába öltöztette a Szűzanyát Széchenyi Katalin grófnő. Példáját sokan követték, s azóta szokássá vált, hogy akik ide zarándokolnak, nem márványtáblával fejezik ki köszönetüket Máriának, hanem egy-egy díszes köntössel. E hagyományt még a diktatúra alatt is őrizték, hiszen van olyan ruha, amelyet 1950-ben egy fiatalember a mesterlevele megszerzése után ajándékozott az andocsi Szűzanyának. Ma már körülbelül kétszázhetven köntöst őriz a plébánia, melyekből Szabó Imre esperesplébános múzeumot is létrehozott, amelyet szívesen bemutat minden látogatónak. A ruhákat ma is használják: az asszonyok kéthetente péntekenként öltöztetik át a szobrot a liturgikus színnek megfelelően. A gyűjtemény nemcsak magyarországi ajándékokat őriz, hanem számos külföldi darabot is. Látható a kiállításon Írországból, az Egyesült Államokból, Venezuelából és Kínából kapott köntös is, ez utóbbit például egy buddhista templomi ruhából szabták ki. Jelenleg a plébánia három szobájában látható a Mária-ruhák múzeuma, de ahogyan Szabó Imre elmondta, nemsokára megnyitják a negyedik helyiséget is, hiszen ma is évente átlagosan négy darabbal gyarapszik a gyűjtemény, sőt, volt olyan esztendő, amikor tizenkét köntöst ajándékoztak a Szűzanyának. A növekvő kiállítás is bizonyítja: Andocs ma is élő zarándokhely, ahol az emberek megtapasztalhatják Mária gondoskodó szeretetét.