Augustiáni klášter opustili v roce 1463 a přesídlili na ostrovy v době tureckých nájezdů. Objekt se stal majetkem františkánského řádu (získali jej darem od zdejší šlechtické rodiny Jurjević -Vladkovičů). Františkáni klášter opravili, přistavěli nová křídla a vybavili jej řadou uměleckých předmětů. Především klášterní kostel, zasvěcený Nanebevzetí P. Marie (Velika Gospa).
V 17. století byl pokládán za jeden z nejkrásnějších na celém zdejším pobřeží, zejména byl obdivován jeho rajský dvůr. Klášter se stal od poloviny 17. století důležitým kulturním a osvětovým centrem. Jedním z nejvýznamnějších památníků kultury vypovídající o kulturní úrovni kláštera té doby je kamenný nadpis napsán v chorvatském jazyce a písmu (bosančice) z r. 1589, který vidíme nad hlavním vchodem do kostela. Klášter v Zaostrogu byl v té době svatyní, která byla uznávaným, posvátným mariánským místem.
Po dobu 500 let jeho existence zde byla škola pro kněze. Ještě v době turecké moci r. 1640 zde byla obecná a humanistická škola, později systém vzdělávání od gymnázia po filozofii a bohosloví. Klášter vlastní bohatou knihovnu s asi 20 000 svazky a bohatý archivní fond. Působilo zde mnoho významných osobností chorvatské kultury a historie. Např. Andrija Kačić Miošić, chorvatský básnik, spisovatel a filozof, pocházející z blízkého Bristu (r. 1704 - zemřel v Zaostrogu), Ivan Despot (1886), chorvatský spisovatel a básnik. A. K. Miošić - užíval pseudonym "Stařec Milovan", v klášteře Zaostrog vystudoval, vstoupil do františkánského řádu, vytvořil všechna svá literární díla, zemřel zde a je zde také pochován.
K vidění jsou tu obrazy jednoho z nejznámějšich živých chorvatských maliřů, Mladena Vež pocházejícího také z Bristu. Uloženy jsou zde také etnologické a etnografické sbírky (selský nábytek, nářadí a lidové kroje) pocházející z okolí. Za zmínku stojí i botanická zahrada s cca 250 druhy rostlin.
