Zamek nad Wisłą zbudował kasztelan wiślicki Piotr Firlej w pierwszej połowie XVI w. Rozległe nieregularne założenie posiadało wewnętrzny dziedziniec i było chronione wieżami. Rozbudowywany i odbudowywany ze zniszczeń przez kolejnych właścicieli - po Firlejach byli to Tarłowie i Lubomirscy (do końca XVIII w.) - stawał się powoli pałacem, który na przełomie XVII i XVIII wieku zyskał rysy barokowe i rokokowe. Niedługo jednak potem został opuszczony (koniec XVIII w.) i popadł w ruinę. Zachowany w znacznej części z wieżami, basztami i murami obwodowymi, mieści muzeum, a po współczesnej odbudowie także hotel.