Im Jahr 1399 errichteten die deutschen Kreuzritter auf dem Burgberg zwischen dem Großen und dem Kleinen Ludza-See eine mächtige Steinburg, um die östlichen Grenzen des Livländischen Ordens zu schützen. Das war ein dreistöckiges Steingebäude mit 6 Türmen, 3 Toren und 2 Vorburgen. Die Burg wurde aus grauen Feldsteinen und roten Ziegeln gebaut und mit schwarz glasierten Ziegeln verziert. Die Burgruine ist ein beliebter Rastplatz für Einwohner und Gäste der Stadt, von dem aus sich das schönste Panorama der Stadt eröffnet. Die Burgruine ist baulich ausgestaltet: Es gibt eine Aussichtsplattform und eine Fußgängerbrücke. Für den Komfort der Besucher werden die Burgmauern in den dunklen Stunden des Tages beleuchtet.
