Am Lößhügel unweit vom rechten Ufer des Podolsky Bachs entstand während der Vorkolonisierungszeit des bisherigen Ödlandes (die 1. Hälfte des 13. Jahrhunders) ein hölzernes Verwaltungszentrum der Premyslovecer, umgezäumt mit einem Wall und einem gewaltigen Graben. Zwischen den Jahren 1269-78, in der Zeit der deutschen Kolonisierung nach dem Kriegsuntergang der älteren Besiedlung entstand unter dem Schutz der kleinen Festung eine ungroße Stadt Rymarov, gestaltet durch einen Ringplatz und eine Rundstraße. In dem gleichen Zeitraum wurde der Sitz auf eine teilweise steinerne Stadtburg umgebaut. Zu ihrer bedeutenden Entwicklung kam es bei der erheblichen Erweiterung des Palais und bei weiteren inneren Bauänderungen während der ersten Hälfte des 14. Jahrhunderts. Nach dem Aufbau der Stadtmauer wurde es zum bedeutendsten strategischen Abwehrort der Stadt. Am Ende des 13. Jahrhunderts förderte man in der Burg südlich vom Palais von umliegenden Bergwerken mit sehr moderner Schmelzung an speziellen Platten das Gold. In der zweiten Hälfte des 14. Jahrhunderts wurde der Gipfel des Hügels von Hradek deutlich erhöht und an dem gleichen Ort wurde wahrscheinlich unter dem Druck der Begebenheiten wieder eine hölzerne Festung aufgebaut, umgezäunt mit dem polnischen Zaun und mit der Palisadenwand. Seit dem Jahre 1398 angefangen mit den Bürgerkriegen verpfändeten die mährischen Markgrafe die Herrschaft in Rabstejn ihren Gläubigern. Der erste Verpfänder Procek von Vildberk missbräuchte die Situation, dies brachte ihm nach dem Friedensabschluss den Eingriff der Landesbereitschaft. Zusammen mit Rabstejn wurde mit der ganzen Stadt auch Hradek im August 1405 erobert und niedergebrannt. Es wurde nie wieder erneut. Nach dem Untergang der Burg siedelten sich in ihren Räumen erst Metzgereien und später Hersteller einer sehr originalen Renaissancekeramik an. In Jahren 1969-88 erfolgte hier eine systematische Forschung, und heute ist aus diesem Grund der Ort eine geschützte archäologische Lokalität. Ihre Fläche nutzt das Stadtmuseum als ein Bestandteil der geologischen Exposition Gesteine in Jeseniky und über den ursprünglichen Grundlagen befindet sich die Replik der Grundlagen des Burgpalais mit dem Heizofen vom Ende des 13. Jahrhunderts.
