Από τα πρώτα χρόνια της ζωής του Αριστοτελείου Πανεπιστημίου, μεταξύ του 1928 και 1930, ιδρύθηκε στη Φιλοσοφική Σχολή από τον τότε καθηγητή Κλασικής Αρχαιολογίας Κ. Ρωμαίο το Μουσείο Εκμαγείων. Η ύπαρξη του Μουσείου, που στεγαζόταν τότε σε 3 αίθουσες του Κεντρικού κτιρίου, είχε ως στόχο να γίνει η διδασκαλία της αρχαίας τέχνης «αρτία και εποπτική».
Στη δεκαετία του 1970 το Μουσείο μεταφέρθηκε στο υπόγειο του Νέου κτιρίου της Σχολής και μεταξύ 1975 και 1982 οργανώθηκε η έκθεση στην πρώτη αίθουσα, σημερινή αίθουσα «Χρήστου Τσούντα» (αίθουσα Α΄), υπό τη διεύθυνση του τότε καθηγητή Γ. Δεσπίνη.
Το 1990/91 διαμορφώθηκε ο μεγαλύτερος από τους δύο χώρους, σημερινή αίθουσα «Κωνσταντίνου Ρωμαίου» (αίθουσα Β΄), που περιλαμβάνει και μικρό αμφιθέατρο για διαλέξεις, υπό την εποπτεία της τότε διευθύντριας Θ. Στεφανίδου-Τιβερίου, όμοτιμης σήμερα καθηγήτριας κλασικής αρχαιολογίας. Με την εκ βάθρων ανασυγκρότηση της μεγάλης αυτής αίθουσας, το Μουσείο απέκτησε τη δυνατότητα σημαντικής αύξησης των συλλογών του. Εκτός από μεμονωμένα εκμαγεία και μικρές συλλογές έργων μικροτεχνίας, μπορούσε πλέον να υποδεχτεί και νέα μεγάλα σύνολα. Έτσι, μέσω δωρεών αποκτήθηκαν εκτός των άλλων και εκτέθηκαν στην αίθουσα Β΄ ήδη από τη στιγμή των εγκαινίων της, τα εκμαγεία από ορισμένες ανάγλυφες πλάκες του τόξου του Γαλερίου.
Το δεύτερο μεγάλο σύνολο που αποκτήθηκε το 1995, ως δωρεά της τότε Ζ΄ Εφορείας Προϊστορικών και Κλασικών Αρχαιοτήτων, είναι τα γλυπτά των δύο αετωμάτων του ναού του Διός στην Ολυμπία και η Νίκη του Παιωνίου. Πρόκειται για εκμαγεία που κατασκευάστηκαν από τον αείμνηστο Στ. Τριάντη στη δεκαετία του 1980 για να αντικαταστήσουν προσωρινά στο παλαιό Μουσείο της Ολυμπίας τα πρωτότυπα, που είχαν αποσυρθεί προκειμένου να συμπληρωθούν με νέα θραύσματα, να συντηρηθούν και να εκτεθούν στο νέο Μουσείο.
Το Μουσείο, ως ζωντανός εκπαιδευτικός και ερευνητικός οργανισμός, εξακολουθεί να διαμορφώνεται και εμπλουτίζεται διαρκώς με καινούργια εκμαγεία και εποπτικά μέσα, απαραίτητα για την πληρέστερη εκπαίδευση των φοιτητών.
