Некогда в Вильне был «город в городе», и принадлежал он францисканцам, у которых здесь были свой войт, судья и гвардиан (настоятель). Самое старое здание монастыря относится к XIV веку, оно находилось неподалеку от тракта, ведшего в Троки (Тракай). Правда, во время чумы XVI века все монахи вымерли, и монастырь некоторое время пустовал и разрушался от пожаров, поэтому первое здание и не дошло до нас в первозданном виде.
Для вступления в орден францисканцев надо было обладать определенными способностями, в том числе и музыкальными. Монахи уделяли большое внимание не только музыке, но и науке и искусству. Монастырь славился как интеллектуальный центр, в XVII веке здесь действовали школа, типография, даже проводились теологические диспуты для знати и простых горожан. В библиотеке монастыря хранились тысячи книг и рукописей. В монастыре также была открыта и первая литовская школа. Здесь жили многие известные люди – например, Йонас Басанавичюс и Юзеф Монтвилл. В здешнем костёле можно увидеть уцелевшую во время различных бедствий чудотворную статую беременной Божьей Матери XVII–XVIII веков, к которой до сих пор приходят бездетные пары в надежде на чудо.