Παντού ερημιά και εγκατάλειψη. Παρ” όλα αυτά, τα βυζαντινά τείχη έδειχναν γεροδεμένα, στιβαρά, έτοιμα όπως πάντα ν” αντέξουν τον χρόνο και τη μανία των καιρών. Αν και τμήμα τους έχει καταρρεύσει, η όψη του κάστρου δεν έχει αλλοιωθεί, πράγμα, όμως, που δεν εμποδίζει τυχοδιώκτες τυμβωρύχους και «κυνηγούς» θησαυρών να σκάβουν κατά καιρούς στα θεμέλια, προξενώντας σημαντικές επιπλέον καταστροφές.

Τα πρώτα οχυρωματικά έργα του κάστρου του Γριζάνου πιθανόν να έγιναν τον 6ο μ.Χ. αιώνα επί αυτοκράτορα Ιουστινιανού, με σκοπό να εμποδίσουν τις εισβολές των Σλάβων που ρήμαζαν τη Θεσσαλική πεδιάδα. Αργότερα, οι Φράγκοι και έπειτα οι Τούρκοι, αναγνωρίζοντας την εξέχουσα θέση του, θωράκισαν την άμυνά του. Από τούτες τις στράτες του Πηνειού και τα γεφύρια του περνούσαν οι αγωγιάτες με τα καραβάνια τους φορτωμένα με κάθε λογής πραμάτεια, αλλά και οι κτηνοτρόφοι όταν μετακινούσαν τα ζώα τους από τα χειμαδιά του κάμπου προς τα βοσκοτόπια του Ασπροπόταμου και της Αργιθέας. 

Από τα αρχαία χρόνια μέχρι και την Τουρκοκρατία το κάστρο του Γριζάνου, καθώς είχε μεγάλη στρατηγική σημασία, δεν εγκαταλείφθηκε και παρέμεινε όρθιο πάνω από χίλια χρόνια.