Málo znatelné ruiny nejvýše položeného středověkého hradu Moravy z devadesátých let 13. století a správního centra rabštejnského (později janovického) panství, severozápadní části Rýmařovska, se opírají o tři skalní suky na vrcholu kopce zarostlého krásným smíšeným lesem a poskytují úžasný rozhled po okolních údolích i rovině severního Pomoraví. Zakladatelem hradu byl asi velký kolonizátor Hrabiše ze Švábenic. Krátce po vzniku se hrad dostal do rukou Jindřichu z Lipé nebo jeho spojenci proti králi Janu Lucemburskému. 1317 hrad dobyl olomoucký biskup Konrád a předal jej králi. Roku 1405 jej měl v zástavě Proček z Vildberka, který využíval válek mezi moravskými markrabaty na přelomu 14. a 15. století ke svému obohacení. Rabštejn i s rýmařovským městským hradem proto dobyla zemská hotovost a Proček byl zajat. V husitských válkách jej s panstvím zastavoval Zikmund Lucemburský katolickým spojencům, ale s husitským Sovincem nejspíše udržovali ozbrojené příměří. Za vlády Jiřího z Poděbrad se ujali správy hradu jeho oddaní přátelé kališníci Tunklové z Brníčka, a po obsazení Moravy uherským králem Matyášem Korvínem vedli spolu se Sovineckými drobnou válku proti jeho oddílům a zrádcům z řad moravské šlechty. Ve svém odporu neustali ani po smrti právoplatného českého krále. Při tažení Uhrů na Nisko tak došlo ke zpustošení části panství a krátkému obsazení Rabštejna. Po vzniku janovické tvrze, nového správního centra panství, a později zámku začal v 16. století hrad chátrat a teprve třicetiletá válka vedla k jeho obnově a rozšíření hrazené plochy po jeho dobytí Švédy. Po jejich odchodu 1650 se situace opakovala, ale ještě naposledy došlo k opravě hradeb v době ohrožení země Turky, ale po jejich porážce u Vídně ztratila pevnost svůj význam a hrad postupně zpustl do dnešní podoby. V poslední době slouží rabštejnské skály jako cvičný terén začínajícím horolezcům. Kromě Rabštejna lze nalézt asi 2 km od Rýmařova trosky hradu Strálek a nad Rešovskými vodopády zbytky Pustého zámku.
