Kule su građene pod utjecajem tipa okruglih kula s kosom strminom na donjem dijelu, što podsjeća na kule koje su Mlečani gradili u 15. st. pri utvrđivanju kaštela i bedema gradova u Istri i Dalmaciji. Jugozapadna i sjeverozapadna kula srušene su u vrijeme kad više nije bilo ratne bojazni. To se dogodilo u drugom desetljeću 18. st. prilikom proširenja župne crkve prema zapadu (1713.) i za gradnje njezina baroknog pročelja (1717.) Sjeveroistočna je kula srušena 1943. godine kada je Žminj bombardiran Drugom svjetskom ratu. Od kaštela je danas sačuvana samo jedna kula i dio južnog krila koji je ugrađen u župnu crkvu. Preostala kula dobila je balkon odmah nakon prestanka ratnih opasnosti (najvjerojatnije nakon Uskočkog rata, 1618. godine). Danas se u kuli održavaju razne izložbe, u organizaciji Katedre Čakavskog Sabora, Turističke zajednice i Općine Žminj; izložba kućnih božićnih jaslica, Mali samanj u kuli, izložbe povodom pučke fešte Bartulje itd.