1399 m. vokiečių kryžiuočiai Livonijos ordino rytinėms sienoms saugoti ant piliakalnio tarp Didžiojo ir Mažojo Ludzos ežerų pastatė galingą pilį – trijų aukštų mūrinį pastatą su 6 bokštais, 3 vartais ir 2 priešpiliais. Pilis buvo pastatyta iš pilkų riedulių ir raudonų plytų, papuošta juodomis glazūruotomis plytomis. Pilies griuvėsiai yra mėgstama miestiečių ir svečių poilsio vieta, nuo kurios atsiveria gražiausia miesto panorama. Pilies griuvėsiuose įrengta apžvalgos aikštelė, sutvarkytas pėsčiųjų tiltas, lankytojų patogumui tamsiu paros metu apšviečiamos pilies sienos.
