Kas gyveno ir ką veikė Žemutinėje ir Aukštutinėje pilyse? Tai buvo ne tik valdovų gyvenamoji vieta. Pilių teritorijoje, Aukštutinės ir Žemutinės pilių komplekse, dvare, gyveno ne tik valdovas, čia buvo priiminėjami užsienio pasiuntiniai, įsikūrė ir didžiojo kunigaikščio kanceliarija.
Aukštutinę pilį savo kelionių dienoraščiuose mini prancūzų diplomatas Žiliberas de Lanua. Jis rašė, kad matė akmenimis, žeme ir mūru sutvirtintą pilį ant aukšto smiltingo kalno. Tiesa, XVI a. Aukštutinės pilies mūrai jau buvo apgriuvę, bet Žemutinė pilis tuo metu išgyveno aukso amžių. Ji buvo apjuosta apsaugine siena, o saugioje teritorijoje virė gyvenimas: buvo statomi mediniai būstai, atskirti nedidelėmis gatvelėmis, mūrinius pastatus statėsi turtingesni miestiečiai.