A kolostor Bács központjában található; a komplexum egy négyzet alaprajzú kolostorépületből áll, belső udvarral és a Szűz Mária mennybevétele -templommal. 1169-ben, Bács szívében, a régi székesegyház alapjaira a jeruzsálemi a régi székesegyház alapjaira a jeruzsálemi Szent Sír lovagrend saját kolostort és templomot emelt. Méretei és építészeti stílusa miatt a román kori építészet egyik kiemelkedő alkotásának számít. A templom ötoldalú apszissal rendelkezik, kő és tégla váltakozó használatával épült, díszítésében állatfejes oszlopfők, tetővízköpők és zománcozott panelek jelennek meg. Belső tere a korai keresztény bazilikák típusát követte - vakolatlan, nyers falakkal. Megjelenése teljes mértékben összhangban van a nyugat-európai példákkal, különösen a németországi Rajna-vidéken található épületekkel. Az épület „földalatti karmainak” nevezett szerkezeti elemei, amelyek további stabilitást biztosítanak, szintén megerősítik, hogy valóban keresztes eredetű építményről van szó. A környéken egyetlen más középkori épületen sincsenek ilyen kiugró tartóelemek. Az alapozás több mint két méter széles, római vörös téglákból készült. A jeruzsálemi Szent Sír reguláris kanonokjai Bácsban saját prepozitúrával rendelkeztek. Rövidebb nevük „Canonici cruciferi” volt. A rend a keresztes háborúk idején alakult, és tagjai ruházatukon keresztet viseltek, innen ered a „cruciferi” elnevezésük. Hogy megkülönböztessék őket más keresztesektől, fehér palástot hordtak, rajta egy nagy piros kereszttel, amelyet négy kisebb kereszt vett körül. 1241-ben a mongol–tatár hadak feldúlták a kolostort. Ezt követően, a 13. század végére nagyszabású helyreállítási munkálatokat végeztek a templomon és a kolostoron, az egész épületegyüttest tovább erősítették. A templom gótikus mennyezetet kapott faragott kőből készült boltívekkel; a gótikus ívek maradványai ma is láthatók a templom melletti, egykor freskókkal díszített folyosón. Ekkor épült egy román–gótikus stílusú harangtorony is, és a kolostort erődítménnyé alakították. Régészeti feltárások során előkerültek a korabeli vizesárok, valamint az azt kísérő további falak és tornyok nyomai. Abban az időben egész Magyarország területén megerősítették a városokat és a kolostorokat.
A jeruzsálemi Latin Királyság bukása után megszűntek a keresztes zarándokutak is, így a bácsi kolostor elveszítette jelentőségét mint állomás a Szentföld felé vezető úton. III. András Árpád-házi magyar király döntése alapján a kolostor 1300-tól ferences rendi intézménnyé vált. A mohácsi csatában 1526-ban a törökök súlyos vereséget mértek a magyar hadseregre. A török uralom időszakáról Bács esetében sokkal többet tudunk, mint a középkorról: a török defterek és Evliya Çelebi útleírása mellett fennmaradtak az egyházi vizitátorok és püspökök jelentései is, akik a török fennhatóság alatt álló Dél-Magyarországot látogatták. A híres oszmán utazó, Evliya Çelebi 1665-ös bácsi leírásában megemlíti a ferences kolostor és templom sorsát is: „E városban nyolc muszlim imahely található. A legnagyobb a régi dzsámi, amely korábban nagy kolostor (deyr) volt, s az elfoglalás után Szulejmán kán dzsámijává alakították. Hossza pontosan 40, szélessége pedig 30 lépés. Tornya, amely régi időkben harangtorony volt, ma mohamedán minaret. A minaret hegyes fedelét művészien készített ólom borítja, s úgy fest, mint az isztambuli bostandzsik csúcsos süvege. A többi imahely mesdzsid. Amikor Szulejmán kán elfoglalta Bács városát, ebbe a dzsámiba - amely akkor még templom volt - több ezer keresztény zárkózott be kincseivel és családjával együtt. Hét napon át heves harc dúlt. Több ezer muszlim harcos „itta ki a mártíromság kelyhét”. Végül, a nyolcadik napon a templomot elfoglalták. A muszlim seregek több ezer foglyot ejtettek, és több ezer erszényre való, milliós értékű kincset zsákmányoltak. A hadsereg elégedett volt a zsákmányolt foglyok nagy számával.
1688-ban, amikor a Gradovrhból érkező nagyobb csoport hívővel és ferences szerzetesekkel Bácsba érkezett, a város fődzsámiját ismét templommá alakították. Így jött létre a gradovrhi ferences kolostor bácsi elődje. A kolostor krónikája szerint három testvér érkezett ide. Azonnal átalakították a dzsámit templommá, és gyorsan – de nem tartós anyagból – felépítették a kolostort. Alig készült el a helyreállítás, amikor kitört a Rákóczi-féle szabadságharc az osztrák uralom ellen. Az 1704 és 1711 közötti események során a kolostor súlyos károkat szenvedett. 1711-ben a bácsi kolostor Vukováron tartózkodó gvárdianja, Fra Marko Dragojević megkezdte a bácsi kolostor és templom helyreállítását. A nyugati szárny felépítésével a Bosna Srebrena provincia vezetése engedélyezte, hogy a ferencesek – akik a Rákóczi-féle felkelés idején költöztek át Bácsból Vukovárra – ismét visszatelepüljenek Bácsba. Erre 1715 őszén került sor. A noviciátust 1716 és 1728 között újra működtették. A nyugati szárnyat vagy traktust gyorsan, gyenge minőségű anyagból építették fel. A válaszfalak vesszőfonatból és sárból készültek. A földszinten a refektórium (ebédlő), a konyha és az infirmaria (betegszoba) kaptak helyet, mindegyik a nyugati oldal felé nézett. Az emeleten tizenkét cella volt. A déli és a keleti szárny építése 1734-ben kezdődött meg (ez alkotja a mai kolostor épületét). Az építőanyagot és a pénzt már 1730-ban előkészítette Fra Franjo Vukovarac: 1777 forintot gyűjtött össze, valamint 5Ez 526 urna mennyiségű meszet és téglát jelentett. A kolostor építése és belső kialakítása 1758-ban fejeződött be. Ugyanabban az évben készült el a földszinti sekrestye is, a harangtorony mellett. Az összes helyiséget boltozatok fedik. Az építkezés és a belső munkálatok részletes leírása fennmaradt.
A kolostor mai formáját az 1734 és 1768 közötti időszakban nyerte el. Az építkezés a bácsi plébánia híveinek, valamint azoknak a plébániáknak az adományaiból valósult meg, amelyeket a bácsi ferencesek vezettek. A legnagyobb hozzájárulást a szontai plébános, Fra Augustin Stopić adta: neki köszönhető a nyugati szárny, a templom melletti folyosó, a kórus és a templomi kápolnák - vagyis az oldalkar - felépítése. Így alakult ki a bácsi kolostor harmonikus egésze, amelybe a középkori épületek — a templom és a harangtorony — is természetesen illeszkedtek. Az épületegyüttes egyetlen tető alá került, középen nagy kolostorudvarral, és a ferences rend klasszikus kolostortípusának kiváló példájává vált — egyúttal a mai provinciák egyik legnagyobb kolostorává. Rendezett formát kapott az archívum és a könyvtár is, amely a 15. és 20. század közötti időszakból származó kiadványokat őriz. Mivel a ferencesek immár 300 éve folyamatosan jelen vannak a kolostorban, számos régi tárgy, edény, textília, liturgikus öltözet és sokféle apró használati eszköz maradt fenn, amelyek a középkor folytonosságáról tanúskodnak - sőt, bizonyos értelemben a római korig visszanyúlnak (például a templom melletti folyosó lapidáriuma). Mindezek külön tanulmány megírására is alkalmat adnának. Az első orgona 1716-ból származott - ez a vajdasági terület legkorábbi orgonájának említése. Ezt 1827-ben új, nagy orgonára cserélték: két manuállal, 16 regiszterrel és mintegy 1000 síppal, amely ma is működőképes, bár felújításra szorul. Az orgonát a bajai ferences orgonaépítő műhely mesterei készítették.
