Neben den Gebäuden an der Südmauer wurde eine Kapelle der Heiligen Dreifaltigkeit erbaut, die im Jahr 1471 von einem unbekannten Maler bemalt wurde.
Der Abriss der südwestlichen und nordwestlichen Türme erfolgte in der Zeit, in der keine Kriegshandlungen mehr stattfanden, d.h. im zweiten Jahrzehnten des 18. Jahrhunderts, als die Pfarrkirche nach Westen erweitert wurde (im Jahr 1713) und für den Bau ihrer Barockfassade (im Jahr 1717). Der Nordostturm wurde im Jahr 1943 während der Bombardierung von Žminj abgerissen. Von dem Kastell sind heute nur noch ein Turm und ein Teil des Südflügels, der in die Pfarrkirche eingegliedert wurde, erhalten. Der Rest des Turms hat höchstwahrscheinlich nach dem Uskok-Krieg im Jahr 1618 den Balkon erhalten. Die Mauern der Siedlungen blieben im nördlichen Teil erhalten und wurden im 15. Jahrhundert repariert.
Žminj war eine wichtige Festung, vor allem, weil sie als österreichische Festung der venezianischen in Svetvinčenat gegenüberstand. In Vorbereitung auf den Konflikt mit Venedig hielte der österreichische Erzherzog 1612 in Žminj rund 200 Bauern.
Während des Krieges von 1615 bis 1618 griffen die Besatzungen von Žminj die Venezianer häufig an und zerstörten ihre Ernte, insbesondere das Heu, das sie vom Hafen von Fažana nach Svetvinčenat transportierten. Wegen des Mangels an Heu waren die venezianischen Reiter fast machtlos. Wie gewöhnlich es ist, führte ein Verräter die Venezianer im Januar 1617 heimlich in die Burg ein. Für diesen Gefallen erhielte er ein Lebensgehalt von sechs Dukaten pro Monat, aber aus Angst um sein Leben zog er nach Kreta.