První zmínky o záměru založit v Benešově piaristickou školu jsou z let 1676–1680, kdy došlo k jednání mezi tehdejším majitelem zdejšího panství Jiřím Ludvíkem hrabětem ze Sinzendorfu a piaristy. V souvislosti s přípravami byl pořízen nejstarší známý plánek benešovského centra z roku 1680. Přesto, že tehdy byla piaristům nabídnuta čtyři místa pro založení koleje, skončila tato iniciativa neúspěšně. Další jednání byla vedena novým majitelem konopišťského panství Františkem hrabětem Přehořovským z Kvasejovic, nejvyšším sudím v českém království, který již roku 1702 zaslal žádost provinciálovi piaristického řádu o vyslání 8 jeho příslušníků do Benešova pro nově zamýšlený klášter. Provinciál vyslal do města nejprve 3 příslušníky řádu, kteří přišli do Benešova ze Slaného již v roce 1704.

Vzhledem k velkému zpustošení města Švédy v roce 1648, po kterém následovaly dvě morové epidemie a neúrodné roky, byli ubytováni v soukromí, v domě vdovy Ludmily Choceňské čp. 161 na dnešním Masarykově náměstí a bohoslužby konali ve špitálním kostele sv. Alžběty na západním okraji města. Ve špitále již ve školním roce 1704/5 probíhalo také vyučování. V červenci 1705 byly položeny základy koleje. Kostel sv. Anny byl zaklenut v roce 1708 a byla vztyčena sanktusní věž se třemi zvony. Počátkem roku 1710 byly provedeny vnitřní omítky a výmalba. V polovině téhož roku byl kostel svaté Anny slavnostně benedikován. Celková cena stavby koleje i kostela tehdy činila 40.000 zlatých. V červenci 1706 se do budovy koleje nastěhovali piaristé i žáci.

Stejně jako v jiných komunitách, i v Benešově následoval poměrně rychlý nárůst žactva, takže ve třetím školním roce 1706/7 byly otevřeny všechny tři třídy trivia a také dvě první třídy gymnázia. V roce 1712/13 již byly otevřeny všechny třídy trivia, čtyři třídy nižšího gymnázia i obě třídy poezie a rétoriky, které na ně navazovaly.

Původní fundační listina z roku 1703 poskytovala 26 500 zlatých na vybudování koleje pro 15 piaristů, školy, kostela sv. Anny a přilehlé zahrady. V průběhu stavby však zakladatel koleje hrabě Přehořovský upadl do dluhů a roku 1715 musel prodat konopišťské panství. Teprve nový majitel hrabě Jan Josef z Vrtby, nejvyšší purkrabí království českého, fundaci obnovil. Úředně potvrzená fundační listina je datována 7. února 1719. Hrabě zde věnuje na provoz koleje hotový kapitál 13000 zlatých a dále ročně 60 sudů piva a 250 sáhů dříví. V obou případech se jednalo o základní fundace bez břemene, to znamenalo, že z nich piaristům nevyplývaly žádné konkrétní povinnosti. Provoz byl ale zajišťován i prostřednictvím menších fundací s břemenem od místních měšťanů, k nimž se vázaly např. povinnosti sloužit zádušní mše. Velmi důležitá byla také fundační listina z 19. listopadu 1717, v níž se matka hraběte Vrtby, baronka Barbora Terezie de Clary Aldringen zavázala hradit výživné dalšímu, tedy osmému knězi, který stál v čele růžencového bratrstva. Piaristická kolej a gymnázium fungovaly v Benešově řádně do roku 1780.

Stavba benešovské koleje byla zahájena roku 1705 a byla zcela dokončena roku 1717. Byla postavena podle návrhu významného barokního architekta Giovanni Batisty Alliprandiho, jehož originál je doposud uchován v generálním archívu piaristů v Římě. Stejně jako všechny piaristické stavby byla postavena podle plánů předem schválených zdejší generální kurií.