- Dawniej mieściła się tam siedziba klasztoru franciszkańskiego, łacińskiej szkoły zwanej partykularzem, gimnazjum akademickiego, biblioteki rady miasta i szpitala.
- W 1872 r. założono tam Muzeum Miejskie, a w 1945 r. Muzeum Pomorskie.
- Jest to jedne z najstarszych muzeów w Polsce. Jego najcenniejszym zabytkiem jest Sąd Ostateczny Hansa Memlinga.
Wspomnienia i opowieści mieszkańców
Po wojnie mieszkańcy Placu Wałowego i ul. Pod Zrębem po wodę musieli chodzić aż do pompy na placu przed muzeum.