Zbudowany prawdopodobnie na przełomie XIII i XIV wieku, zamek w Rytrze znany jest również jako zamek Rytter. Dzisiaj to ruiny położone na wzgórzu, z bogatą i fascynującą historią i ze swoim tajemniczym widmem.
Nikt dokładnie nie wie w jakich okolicznościach powstał, ale na pewno istniał tu na początku XIV wieku. Pierwsze wzmianki na temat zamku w Rytrze znanego też jako zamek Rytter, pojawiają się w przywileju Władysława Łokietka z 17 kwietnia 1312 roku. Dokument ten pozwalał zakonowi klarysek ze Starego Sącza na pobieranie cła "pod zamkiem Ritter". Zamek zbudowany został prawdopodobnie w celu umocnienia polsko-węgierskiej granicy w XIII wieku i od tego czasu należał z pewnością do domeny królewskiej, będąc kolejno własnością różnych rodów. Pozostawał w rękach tenutariuszy: Jakusza z Boturzyna herbu Czewoja czy rodu Toporczyków herbu Topór, którzy przyjęli nazwisko Ryterskich. Jednym z historycznych właścicieli Rytra i zamku był rycerz Piotr Ryterski herbu Topór, który walczył m.in. pod Grunwaldem. W XV wieku pełnił funkcję rezydencji starostów sądeckich i został znacząco przebudowany. W XVI wieku jego administratorem został Piotr Kmita. Wkrótce potem zamek popadł w ruinę, o czym świadczy relacja Marcina Bielskiego oraz lustracje z lat 1616-1617. Według lokalnych podań, uległ zniszczeniu w 1657 roku w czasie najazdu Jerzego Rakoczego. Na zamku gościli często polscy królowie, głównie w czasie podróży na Węgry, m.in. Władysław Łokietek, Kazimierz Wielki, królowa Jadwiga z królem Władysławem Jagiełłą oraz Kazimierz Jagiellończyk.
Ruiny zamku w Rytrze kryją podobno tajemnicze skarby. Ta legenda wiąże się ze wspomnianym przez Jana Długosza gospodarzem zamku, kasztelanem sądeckim Piotrem Wydżgą. Podobno wierzył on, że w skałach na których stoi zamek, jest złoto. Zmuszał więc okoliczną ludność do niewolniczej pracy przy wydobywaniu grudek złota i ukrywał je w podziemiach twierdzy. Na koniec chciwy kasztelan rozkazał zabić pracujących dla niego poszukiwaczy złota, aby nie wyjawili, gdzie kryją się złote skarby.
Inna opowieść mówi o Bojomirze, jednym z dawnych gospodarzy zamku. Bojomir mieszkał tu z żoną, synem i oswojonym niedźwiedziem Bartkiem. Kiedy Bojomir wyjechał walczyć z krzyżakami, ich wysłannicy napadli na zamek, zabili żonę i uprowadzili syna. Bojomir mścił się bezlitośnie na wrogach, łapał krzyżackich jeńców i przetrzymywał ich w koszmarnych warunkach w lochach zamku. W pewne Boże Narodzenie miejscowy ksiądz uprosił bezwzględnego Bojomira, aby zlitował się i pozwolił jednemu z konających jeńców umrzeć w komnacie, zamiast w ciemnym lochu. Po przyprowadzeniu jeńca, niedźwiedź Bartek zaczął się do niego łasić. Wtedy na szyi jeńca gospodarz dostrzegł łańcuszek swojego zaginionego syna...
W ruinach zamku jeszcze dzisiaj spotkać można widmo rycerza i towarzyszącego mu kozła – wysłannika piekieł. Czy to duch pilnującego swojego złota kasztelana, czy ukochanego syna Bojomira, czy też duch jednego z poszukiwaczy złota lub zmarłego w lochach krzyżackich jeńca, zdania są podzielone...
