Территория, где сейчас стоит Президентский дворец, можно сказать, сердце Вильнюса, раньше была обычным предместьем. После крещения Литвы высокопоставленное духовенство необходимо было обеспечить резиденцией, поэтому великий князь литовский и король польский Ягайло в 1387 году даровал первому виленскому епископу Андрею (Васило) привилей на земельный участок, написав: «Даруем землю близ города Вильны, у сада Гоштовта».
Так, пусть и на болотистой почве, был построен Епископский дворец. В конце XVIII века здесь жил царь Павел I, останавливался последний король польский Станислав Август Понятовский, в начале XIX века гостил будущий король Франции Людовик XVIII. Однако первоначальный облик дворца можно лишь предполагать по нечеткой гравюре на меди 500-летней давности. В первой половине XIX века дворец был снесен, а на его месте построена резиденция Виленского генерал-губернатора. В настоящее время это здание известно как Президентский дворец.
Вернуться в прошлое возможно: каждое воскресенье в 12 часов у дворца проводится церемония смены флагов с участием почетного караула в доспехах XIV века.