Na lessowym pagórku w pobliżu prawego brzegu potoku Podolského powstało w okresie przed zasiedleniem przez kolonistów istniejących pustkowi (1 połowa XIII wieku) drewniane centrum administracyjne umocnione wałem i potężną fosą. W latach 1269-78, w okresie niemieckiej kolonizacji po zakończeniu walk i zaniku starszego osadnictwa, pod ochroną tych umocnień powstało miasto Rýmařov, zawierające rynek i jedną okrężną ulicę. W tym czasie siedzisko zostało przebudowane na częściowo murowany zamek miejski. Jego znaczniejszy rozwój wiązał się z poszerzeniem pałacu i wykonaniem dalszych wewnętrznych budynków w czasie pierwszej połowy XIV wieku. Po zbudowaniu zamek miejski stał się głównym strategicznym punktem obronnym miasta. Przed końcem XIII wieku na zamku, na południe od pałacu uzyskiwano złoto z pobliskich kopalni bardzo nowoczesną metodą wytapiania na specjalnych płytkach. W drugiej połowie XIV wieku podniesiono pagórek zamku znacznie wyższym nasypem i pewnie z uwzględnieniem sytuacji zagrożenia wybudowano na tym samym miejscu ponownie drewniane umocnienie ogrodzone polskim płotem z palisadą. Od roku 1398 morawscy margrabiowie z rabsztejnskiego państwa dawali zastawy swoim wierzycielom zaczynając od okresu wojen domowych. Pierwszy zastawiający Proček z Vildberka wykorzystał sytuację, która dała mu wzrost stanu posiadania ziemi po ustanowieniu pokoju. Razem z Rabštejněm był razem z całym miastem zdobyty i spalony rymarzowski Hrádek w sierpniu roku 1405. Nigdy go nie odbudowano. Po likwidacji zamku w jego budynkach ulokowały się najpierw mięsne kramy a później producenci bardzo oryginalnej renesansowej ceramiki. W latach 1969-88 wykonano tu systematyczne badania i dlatego teraz miejsce jest chronionym terenem wykopalisk archeologicznych. Z tego terenu korzysta muzeum miejskie jako z części ekspozycji geologicznej skał jesenickich a nad pierwotnymi fundamentami jest umieszczona replika pałacu zamkowego z piecem do ogrzewania z końca XIII wieku.
