Ως πρώτος οικιστής αναφέρεται ο Κωνσταντίνος, και οι Πολύκαρπος, Ιωάννης, Αλέξιος και Νικηφόρος.
Τους διανεμήθηκαν εκτάσεις γής στην περιοχή της Συβρίτου περιοχή που το όνομα απαντάται και σήμερα.
Οι Βαρούχες, αναγνώρισαν τη Βενετική κυριαρχία στο νησί και συνεργάστηκαν μαζί τους, αποκομίζοντας πολλά προνόμια και αργότερα τίτλους στο Κρητικό Αρχοντολόγιο
Μέχρι το 1250 διατηρούσαν δυο Ιπποτικά Φέουδα στο Μοναστηράκι και στο Σμιλέ Αμαρίου, που επέκτειναν κατα τους επόμενους αιώνες, ενώ κατα τον 16ο αιώνα εμφανίζονται ως τιμαριούχοι στο διαμέρισμα τους και διακεκριμένοι αρχηγοί σε Βενετικές Γαλέρες.
Στην Αγία Παρασκευή Αμαρίου, το 1516 κτίστηκε ο Ναός της Παναγίας, κτήτορας της οποίας αναφέρεται ο Γεώργιος Βαρούχας.
Εκκλησία της Παναγίας (Αγία Παρασκευή Αμαρίου)
Ο Γεώργιος Βαρούχας, κτήτορας του Ναού, ντυμένος
με ιερατικά ρούχα και η σύζυγος του.
Με την άλωση της Κρήτης απο τους Τούρκους, μεγάλο μέρος του οίκου των Βαρούχων, μετοίκησε στην Κεφαλλονιά, όπου και κατέθεσαν στο αρχείο Αργοστολίου τα οικογενειακά τους έγγραφα και το γεννεαλογικό τους δένδρο.
Απο τα έγγραφα αυτά κυκλοφόρησε στις αρχές του 20ου αιώνα το βιβλίο Οικογένεια Βαρούχα, με άγνωστο συγγραφέα, τόπο και χρόνο.