Η μονή είναι κτισμένη σε απόσταση 15 χιλιομέτρων βορειοανατολικά της πόλης του Πύργου και σε υψόμετρο 207 μέτρων.
Η παράδοση αναφέρει πως περίπου τον 17ο αιώνα, ντόπιοι βοσκοί έβλεπαν κατά την διάρκεια της νύχτας ένα χαρακτηριστικό φως μία "λάμψη", να βγαίνει από ένα συγκεκριμένο σημείο του βουνού. Η λάμψη μάλιστα ήταν τόσο δυνατή που διακρινόταν ακόμα και την διάρκεια της ημέρας πάντοτε ακίνητη και σταθερή.
, ντόπιοι βοσκοί έβλεπαν κατά την διάρκεια της νύχτας ένα χαρακτηριστικό φως μία "λάμψη", να βγαίνει από ένα συγκεκριμένο σημείο του βουνού. Η λάμψη μάλιστα ήταν τόσο δυνατή που διακρινόταν ακόμα και την διάρκεια της ημέρας πάντοτε ακίνητη και σταθερή.
Για τον λόγο αυτό θέλησαν να εξερευνήσουν το συγκεκριμένο σημείο που εκείνη την εποχή ήταν απόκρημνο και δυσπρόσιτο εξαιτίας της απότομης πλαγιάς του βουνού. Αναγκάστηκαν έτσι να κατεβάσουν στο βουνό κάποιον δεμένο με σχοινιά και η ανακάλυψή του ήταν η εικόνα της Παναγίας αιωρούμενη μέσα σ' ένα σπηλαίο. Αποφασίσθηκε έτσι η προσεκτική μεταφορά της εικόνας σε τόπο ασφαλή και κατάλληλο για την ανέγερση ναού προς τιμήν της (ίσως κοντά στον παρακείμενο οικισμό των βοσκών). Σύντομα η ανέγερση ναού ξεκίνησε όμως η θέληση της Θεοτόκου ήταν διαφορετική. Η εικόνα εξαφανίστηκε ξαφνικά σε μια νύχτα γεμίζοντας με λύπη τους κατοίκους.
Η Παναγία όμως έδωσε ξανά το σημάδι της αφού εμφανίστηκε ξανά στο σπηλαίο με την χαρακτηριστική λάμψη. Οι κάτοικοι ξεκίνησαν πάλι για το σπηλαίο, αυτή την φορά όμως κατέβηκαν περισσότεροι, αντικρίζοντας για μία ακόμα φορά την εικόνα να αιωρείται. Τότε ο ιερέας της περιοχής θεώρησε πως αυτό είναι σημάδι της Παναγίας για τον τόπο που εκείνη έχει επιλέξει για να γίνει ο ναός της και για να την τιμούν. Έτσι ξεκίνησαν και οι πρώτες προσπάθειες διαμόρφωσης του σπηλαίου σε τόπο κατάλληλο για προσκύνηση καθώς και κάποιου ασφαλούς μονοπατιού που θα οδηγούσε στο σπήλαιο. Όταν το σπήλαιο ολοκληρώθηκε τελέσθηκε η Θεία Λειτουργία ενώπιον της ιερής εικόνας και από τότε το σημείο αποτελεί τόπο προσκύνησης έως και τις μέρες μας.
Το γεγονός του ότι η παράδοση αναφέρει πως η εικόνα βρέθηκε δύο φορές να αιωρείται δικαιολογεί και την ονομασία τόσο της ίδιας της εικόνας όσο και της μονής ως "Κρεμαστή".
Η εικόνα της μονής απεικόνιζε την Θεοτόκο Βρεφοκρατούσα έργο που αποδίδεται στον Ευαγγελιστή Λουκά (μία από τις 70 ή 72 φορητές με Αποστολική προέλευση ).
Ως μονή όμως πρέπει να θεωρηθεί πως άρχισε να διαμορφώνεται, αρχικά ως ανδρική, λίγο πριν το 1700 αν στηριχθεί κανείς στο σχετικό Φιρμάνι του Μουσταφά Β' (1695-1703) στο οποίο αναφέρονται και οι εκτάσεις της τότε μόνης. Η μονή γνώρισε μεγάλη ανάπτυξη στα 30 χρόνια που η Πελοπόννησος ήταν στην κυριαρχία των Βενετών (1685-1715).
Έτσι στα χρόνια της Ενετοκρατίας η μονή άρχισε να παίρνει την πρώτης της μορφή. Έως τότε τίποτα άλλο πέρα από το σπήλαιο που είχε διαμορφωθεί σε ναό δεν συναντούσε κανείς στον χώρο της μονής. Οι Βενετοί έδωσαν στον ιερομόναχο Βενιαμίν Κλοκώνη την άδεια να ιδρύσει μονή μεταξύ του 1690 με 1692.
Λόγω της δυσπρόσιτης τοποθεσίας της, κατά την διάρκεια της Τουρκοκρατίας και της Επανάστασης του 1821 ήταν τόπος συνάντησης Ηλείων οπλαρχηγών και καταφύγιο των κατοίκων της περιοχής κατά την επιδρομή του Ιμπραήμ στην περιοχή τον Νοέμβριο του 1825.
Στις 18 Φεβρουαρίου 1835 η μονή διαλύθηκε με Βασιλικό Διάταγμα. Τον Απρίλιο του 1837 ο γραμματέας επί των Εκκλησιαστικών, Πολυζωίδης, έδωσε την σχετική άδεια με την οποία οι μοναχοί μπορούσαν να επιστρέψουν και να παραμείνουν στην μονή εφόσον η άδεια προσέδιδε και καθεστώς διατήρησης της μονής.
Με Βασιλικό διάταγμα της 6ης Μαρτίου 1880 η Ιερά Μονή Σκαφιδιάς αναλαμβάνει εξ' ολοκλήρου την διοίκηση της μονής. Στα επόμενα χρόνια η μονή άρχισε και πάλι να αποκτά το παλιό της κύρος. Όσα έτη η μονή υπαγόταν ως μετόχι στην μονή Σκαφιδιάς οι προσπάθειες των τοπικών αρχόντων αλλά και της εκκλησιαστικής αρχής του τόπου δεν σταμάτησαν ποτέ. Αποτέλεσμα όλων αυτών ήταν η αναγνώριση της πλήρους αυτοτέλειας της μονής, μαζί με τα περιουσιακά της στοιχεία και τα εξαρτήματά της.
Ο μακαριστός μητροπολίτης Ηλείας Αντώνιος ξεκίνησε τις προσπάθειες μετατροπής της μονής σε γυναικεία τον Ιούλιο του 1932. Συγκεκριμένα με επιστολή προς την Ιερά Σύνοδο της Εκκλησίας της Ελλάδος ζήτησε την συγχώνευση των ανδρικών μονών Κρεμαστής και Σκαφιδιάς και την ανασύσταση της μονής Κρεμαστής ως γυναικείο μοναστήρι. Ανάλογη επιστολή στάλθηκε και προς την Διαρκή Ιερά Σύνοδο. Η Διαρκής Ιερά Σύνοδος ενέκρινε την ανασύσταση της μονής ως γυναικεία.