Η παράδοση λέει ότι υπήρχε ένα θαυματουργικό αγίασμα της Παναγίας, που υπάρχει μέχρι σήμερα και αναβλύζει δεξιά του διάδρομου προς τους Ξενώνες, και οι ντόπιοι κάτοικοι είχαν χτίσει έναν μικρό ναό του Αγ. Παντελεήμονα στη θέση αυτή, όπου ο Αλέξιος Α' Κομνηνός βρήκε ίαση μετά από ένα σοβαρό τραυματισμό κατά τις μάχες με τους Νορμανδούς του Ροβέρτου Γυισκάρδου και την εκδίωξη τους από το Δυρράχιο και την πόλη της Καστοριάς.
Το 1457 οι Κωνσταντινουπολίτες μοναχοί Κοσμάς και Δαμιανός έφτασαν εδώ και ξανάχτισαν τη μονή, που έκτοτε τιμά τους Αγ. Ανάργυρους.
Έκτισαν εδώ νέο καθολικό και μερικά ακόμη κελιά, ενώ μετέφεραν μαζί τους ορισμένα ιερά κειμήλια και λείψανα αγίων από την Κωνσταντινούπολη, με σημαντικότερο το ξυλόγλυπτο τέμπλο της Παναγίας Βλαχερνίτισσας.
Περί το 1470 ο όσιος Νεκτάριος ασκητεύει για μικρό διάστημα εδώ και το 1734 η μονή καταστρέφεται από επιδρομές Τουρκαλβανών. Τότε, ο μοναχός Γεράσιμος ανακατασκευάζει το μοναστήρι το 1754 και ιδρύει σχολείο, όπως γινόταν εξάλλου στα περισσότερα μοναστήρια στα χρόνια της Τουρκοκρατίας.
Κατά τη διάρκεια του Μακεδονικού Αγώνα, η μονή προσέφερε σημαντική βοήθεια. Τον Αύγουστο του 1903 συγκεντρώθηκαν εδώ περίπου 5000 γυναικόπαιδα από τα γύρω χωριά μετά την εξέγερση του Ίλιντεν με πρωτοβουλία του τότε Μητροπολίτη Καστοριάς Γερμανού Καραβαγγέλη για τη προσωρινή συντήρησή τους.
Εδώ από τον 19ο αιώνα υπήρχε Ιερατική Σχολή και στη διάρκεια του 20ου λειτούργησε άσυλο ασθενών-απόρων ηλικιωμένων και παιδικές κατασκηνώσεις.