Grad Žusem (njemački Sussenheim) stajao je na kopastom rtu iznad naselja Dobrina pri Žusmu na jugoistoku Šentjurja. Podignut je početkom 13. stoljeća, više je puta prepravljan, a napušten je oko 1781., tako da su danas sačuvane samo ruševine.
Grad su podigli krški biskupi na području koje je grofica Hema darovala 1043. krškom samostanu, nakon čega je taj kraj prešao u posjed krške biskupije. Posotelje je bilo na granici s Mađarima, pa su biskupi radi obrane tijekom vremena izgradili više gradova, među njima i Žusem, vjerojatno potkraj 12. ili početkom 13. stoljeća. Na gradovima su imali svoje ministerijale, a žusemsko su gospodstvo držali Žusemski vitezovi sve do 1481. U različitim razdobljima posjedovali su ga Celjski grofovi (1364.–1404. i 1437.–1456.) te svjetovni knezovi, koji su bili stvarni vlasnici do 1624.
U ispravama se Žusemski grad posredno spominje 1203. u darovnici krškog ministerijala viteza Poppa de Suzzenheima, a 1208. i njegov brat Henrik. Kao grad izričito se navodi tek 1364. Budući da je Kunšperk kao pogranični grad bio najizloženiji opasnosti, krški je biskup prije 1212. vojno podredio svoje vitezove u zaleđu Kunšperku, među njima i žusemske.
U 15. stoljeću za Žusem je posebno važan Andrej Žusemski. Godine 1437. zadužio se kod celjskog kneza Fridrika II. za 2000 funti i za taj je dug založio svoj grad i žusemsko zemljiško gospodstvo. Nakon njegove smrti vlast su naslijedili drugi članovi obitelji, a od 1480. svjetovna su gospodstva Žusem, Valdek i Konjice prešla na njegova nećaka Bernarda Lichtenbergera.
Kasnije su grad i gospodstvo mijenjali brojne vlasnike i zakupce: Altenhausi, Kroneggeri, Mosconi i drugi. Godine 1624. grad i gospodstvo kupio je barun Polikarp Scheidt, a 1631. kupili su ga baruni Reisingi. Dana 5. svibnja 1635. grad su opljačkali pobunjeni seljaci, a 1695. izgorjelo je i njegovo zdanje. Uslijedili su Petazziji, de Herbuvali, Ritter, dr. Fürst i naposljetku industrijalac Leopold Fieglmüller, koji ga je iz poreznih razloga 1871. djelomično srušio.
Iz pisanih izvora vidi se da je grad u 14. stoljeću imao tek tornjasto središte, a prije 1437. dodana je i stambena zgrada. Gradsku kapelu krasio je križni svod od klesanog kamena, što upućuje na gotički stil. Uz grad su stajali konjušnica i pristava, a 1624. i ciglana; ispod grada nalazio se ribnjak, spomenut već 1496. godine.