Ο θάνατος του επήλθε στο σπίτι του στη Σάντα Φε του Νέου Μεξικού, όπου ήταν συνιδρυτής και διακεκριμένος καθηγητής του Ινστιτούτου της πόλης. Υπήρξε επίσης ομότιμος καθηγητής Θεωρητικής Φυσικής στο Τεχνολογικό Ινστιτούτο της Καλιφόρνια (Caltech) και είχε εργαστεί για αρκετά χρόνια στο CERN.
Ο Γκελ-Μαν ήταν αυτός που πρότεινε ότι τα πρωτόνια και τα νετρόνια δεν αποτελούν τους στοιχειώδεις δομικούς λίθους της ύλης, αλλά αποτελούνται από άλλα μικρότερα θεμελιώδη σωματίδια, τα οποία ονόμασε κουάρκ. Η ονομασία αυτή προέρχεται από την πρόταση «Three quarks for Muster Mark» στο μυθιστόρημα Finnegans Wake του Ιρλανδού Τζέιμς Τζόις. Αρκετά αργότερα αποδείχθηκε και πειραματικά η ύπαρξη των κουάρκ.