Zamek wybudowany w II poł. XVI w na miejscu dawnego zamku wzniesionego przez władający wcześniej Starymi Tarnowicami ród Włodków (byli oni właścicielami zamku do 1570 r). Za czasów panowania Piotra Wrochema była to najokazalsza budowla w mieście, jako, że eksploatacja górnicza przynosiła mu niemałe dochody.
Zamek powstał jako czworoboczna warownia z kamienia o czterech dwukondygnacyjnych skrzydłach. Kwadratowy dziedziniec pośrodku otoczony był arkadowymi krużgankami (na parterze krużganek arkadowy ze sklepieniem krzyżowożebrowym, na piętrze, strop krużganka opierał się na okrągłych kolumnach) . W pd-wsch narożniku stała czworoboczna wieża ze szkarpami o trzech kondygnacjach. Wjazd do zamku w postaci bramy zamkniętej łukiem koszowym znajdował się na osi skrzydła zachodniego. Zamek posiadał charakter obronny, od zewntrz na parterze zachowało się wąskie, poziome okienko o charakterze strzelnicy. Niskie, sklepione kolebkami piwnice mieszczą się jedynie pod zachodnią częścią południowego skrzydła.
Podczas przebudów z XVIII i XIX w zamek utracił swój pierwotny wygląd, powiększono skrzydło północne, zmieniono sień wjazdową, poszerzono okna, a także zamurowano krużganki. Nadal jednak zauważalne jest renesansowe założenie budowli.
Przez długi czas obejście zamku odstraszało swoim wyglądem, teraz natomiast, po wykupieniu przez prywatnego inwestora, trwają tu intensywne prace remontowe, stodoła zamieniła się w piękną „Gospodę u Wrochema”, jej otoczenie również zachęca do odwiedzin, tylko zamek czeka w kolejce…