W miejscu dzisiejszego zamku istniał już w XIII wieku rycerski gród obronny, broniący przeprawy przez rozlewiska rzeki Korzeniówki na szlaku Końskie – Wierzbica – Iłża. Zbudowano go na sztucznej wyspie, umocnionej drewniano-ziemnymi konstrukcjami. Drewniane ściany grodu zastąpiono prawdopodobnie jeszcze w XIII lub XIV w. murami z kamienia ułożonymi na pionowo wbitych palach, których resztki znaleziono pod dziedzińcem. Fundatorem zbudowania niewielkiego murowanego dworu był najprawdopodobniej Jakub Szydłowiecki.
W latach 1470 – 1480 Stanisław Szydłowiecki, kasztelan radomski i żarnowski, wybudował murowany zamek złożony z dworu mieszkalnego, wieży bramnej i muru obronnego. Dojazd do zamku zapewniał most zwodzony. Czterokondygnacyjną część mieszkalną zbudowano z kamienia, na piętra i do wieży wiodły z dziedzińca zewnętrzne drewniane schody. Budynek został otynkowany, a naroża ozdobiono szaroniebieskimi boniami.
Po śmierci Stanisława Szydłowieckiego, w latach 1514 – 1517 dalszą rozbudowę zamku podjął jeden z jego synów, Mikołaj. Wybudował dwupiętrowe skrzydło wschodnie i dostosował do niego istniejący już budynek starego dworu. Od południa powstał mur kurtynowy, łączący skrzydło wschodnie z wieżą bramną, wybrukowano dziedziniec. W reprezentacyjnej części wschodniego skrzydła urządzono loggię widokową. W ciągu około dziesięciu lat powstała wspaniała, renesansowa rezydencja magnacka. Wokół zamkowej fosy założono ogród i zwierzyniec.
Zamkowe wnętrza zdobiły bogate polichromie, których autorami byli Stanisław Samostrzelnik i malarz Piotr, którego na prośbę Krzysztofa Szydłowieckiego, przysłał z Królewca przyjaciel Krzysztofa, Albrecht Hohenzollern.
Dzisiejszą postać zamku zawdzięczamy Radziwiłłom, którzy zostali właścicielami Szydłowca w roku 1548. Radziwiłłowie bardzo dbali o swoje szydłowieckie dobra. Były one oczkiem w głowie Mikołaja Krzysztofa Radziwiłła „Sierotki“, który dokonał gruntownej modernizacji zamku. Zmienił komunikację, dobudowując od strony dziedzińca zewnętrzną klatkę schodową, rozbudował loggię wschodniego skrzydła, dobudował narożne bastiony z balkonami widokowymi. Prace kontynuował po jego śmierci syn, Albrycht Władysław, wymieniony w inskrypcji umieszczonej w pięknym portalu z radziwiłłowskimi herbami, umieszczonym w 1629 roku nad wewnętrznym, parterowym wejściem do wschodniego skrzydła.
Zamek upiększali tekże następni właściciele. Mikołaj Radziwiłł i jego żona Maria z Gawdzickich, mieszkający w zamku od 1788 roku, urządzili na nowo komnaty wschodniego skrzydła. Wnętrza otrzymały dekoracje malarskie, wybudowano kominki, piece, położono ozdobne posadzki. Anna Sapieżyna, która w 1802 roku, po śmierci ostatniego spadkobiercy, Macieja Radziwiłła, kupiła zamek na licytacji od rządu austriackiego, urządzała pokoje zamkowe w modnym wówczas stylu empire. Ich śladem jest piękny wystrój jedynej zachowanej z tych czasów komnaty II piętra, tzw. „saloniku sapieżyńskiego“. Niestety – w 1802 roku Anna Sapieżyna, namawiana przez ministra skarbu księcia Druckiego-Lubeckiego, odsprzedała szydłowieckie dobra skarbowi Królestwa Polskiego.
Po powstaniu listopadowym po którym Królestwo Polskie nie tylko straciło własną autonomię lecz formalnie przestało istnieć, a jego obszar stał się częścią Rosji – tzw. Krajem Przywiślańskim, zamek nadal wchodził w skład dóbr rządowych. Tak zaczął sie jego powolny upadek. Począwszy od lat 30-tych XIX wieku zamek powoli niszczał. Był użytkowany jako siedziba dzierżawcy dóbr rządowych i skład zbożowy, po powstaniu styczniowym przeszedł pod zarząd Moryca Engemana, który urządził w nim skład piwa. Na szczęście jeszcze w 1847 roku wyposażenie kaplicy zamkowej przeniesiono do kościoła św.Zygmunta.
Po odzyskaniu niepodległości w 1918 roku, szydłowiecki zamek został uznany za zabytek. Niszczejące pomieszczenia zaczęto częściowo remontować, choć dotyczyło tpo tylko zachodniego skrzydła. Opiekę nad obiektem sprawowało Towarzystwo Gimnastyczne „Sokół“ , następnie „Związek Strzelecki“. Górne sale II piętra skrzydła zachodniego wykorzystywano na przedstawienia teatralne i zabawy obywatelskie, dolne na magazyny. Dzięki funduszom rządowym zamek udało się uratować przed dewastacją i ruiną remontując pokrycie dachu, usuwając gruz wypełniającu skrzydło wschodnie i naprawiając otwory okienne i ściany.
W czasie wojny zamek zamieszkiwali uchodźcy wysiedleni przez Niemców z terenów Polski zajętych przez III Rzeszę a także Żydzi, gdyż Szydłowiec okupanci zamienili w otwarte getto.
Po wojnie przeprowadzono gruntowne prace remontowe całego obiektu, zakończone w 1963 roku. Poddano konserwacji zabytkową kamieniarkę portali i okien, częściowo zrekonstruowano i zakonserwowano polichromie zewnętrzne i wewnętrzne. W zamku otwarto dom kultury z kinem studyjnym i biblioteką publiczną. Od roku 1965 mieściła się w w zamku Międzywojewódzka Pracownia Konserwacji Zabytków, a w 1975 otwarto unikalne w skali europejskiej Muzeum Ludowych Instrumentów Muzycznych.
Na pierwszym piętrze dawnej siedziby Szydłowieckich i Radziwiłłów znajduje się Pracownia Historii Szydłowca. Powstała w 2017 r., w jej tworzeniu aktywnie uczestniczyli mieszkańcy Szydłowca, przekazując dokumenty, fotografie i przedmioty ilustrujące życie codzienne i historię miasta. Pozyskane obiekty pochodzą głównie z XIX wieku i pierwszej połowy XX wieku. W pracowni możemy zobaczyć również eksponaty z Izby Pamiątkowej Zespołu Szkół im. Jana Pawła II w Szydłowcu oraz z kościoła św. Zygmunta w Szydłowcu. Na wystawie „Żywa historia kamiennego miasta” można zobaczyć m.in. urzędowe zapisy dokumentujące życie mieszkańców Szydłowca i okolic, dokumenty notarialne, bankowe i gminne, reprodukcję wydruku z radomskiej drukarni Jana Kantego Trzebińskiego – ratusz, szkołę elementarną, kościół św. Zygmunta i inne budynki użyteczności publicznej. Są także przedmioty, będące świadectwem walk o niepodległość. Pracownia Historii Szydłowca jest dostępna dla zwiedzających w dniach od środy do niedzieli, w godzinach od 10.00 do 16.00.
