Uz zgrade prislonjene na južni bedem podignuta je kapela Presvetog Trojstva, oslikana rukom nepoznatog majstora 1471. godine.
Jugozapadna i sjeverozapadna kula srušene su u vrijeme kad više nije bilo ratne bojazni, odnosno u drugom desetljeću 18.stoljeća prilikom proširenja župne crkve prema zapadu (1713.) i za gradnje njezina baroknog pročelja (1717.) Sjeveroistočna je kula srušena 1943. godine prilikom bombardiranja Žminja. Od kaštela je danas sačuvana samo jedna kula i dio južnoga krila koji je ugrađen u župnu crkvu. Preostala kula dobila je balkon najvjerovatnije nakon Uskočkog rata 1618. godine. Zidine su naselja sačuvane na njegovu sjevernom dijelu, a popravljene su u 15.st.
Žminj je bio važna utvrda, ponajprije stoga što je kao austrijska tvrđava stajao nasuprot onoj mletačkoj u Svetvinčentu. Pripremajući se za sukob s Venecijom, austrijski je nadvojvoda 1612. godine u Žminju držao oko 200 pješaka. Žminjska je posada tijekom rata od 1615. do 1618. često napadala Mlečane uništavajući im ljetinu, osobito sijeno koje su prevozili od luke u Fažani do Svetvinčenta pa su zbog nedostatka sijena mletački konjanici bili gotovo nemoćni. No, kako to obično biva, izdajnik je u siječnju 1617. Mlečane potajno uveo u kaštel. Za tu je uslugu dobio doživotnu plaću od šest dukata mjesečno, ali u strahu za svoj život, odselio se na Kretu.