Su abuelo era sacerdote en una iglesia ortodoxa y dos tíos eran monjes en el Monte Athos. Desde niño demostró talento musical pero estuvo a punto de seguir la vida monarcal. Estudió piano y composición en el Conservatorio de Atenas, se graduó en 1919 y ese mismo año escribió una ópera, Soeur Beatrice, la que fue producida exitosamente en Atenas. Gracias a ello obtuvo una beca para seguir sus estudios en Bélgica donde tuvo como maestro a Paul Gilson. Desde 1920 a 1924 fue estudiante en la clase de Busoni en Berlín mientras trabajaba como preparador vocal en la Opera Estatal.

Tras su retorno a Atenas en 1924 comenzó a dirigir con frecuencia y en 1930 se unió a la facultad de composición del Conservatorio de Atenas. Durante esos años se concentró en la composición trabajando con orquestas de Atenas y actuando como acompañante de renombrados cantantes que se presentaban en esa ciudad. Mientras su fama como director fue creciendo comenzó a aceptar invitaciones como conductor invitado de otros países.

En 1930 realizó su debut con la Filarmónica de Berlín interpretando su propio Concerto Grosso, la Sinfonía en Do de Paul Dukas y el tercer concierto para piano de Prokofiev. El propio Mitropoulos interpretó la parte solista y dirigió la obra. Después de este exitoso debut, Mitropoulos condujo en varios países, actuando por primera vez en los Estados Unidos con la Sinfónica de Boston en enero de 1936. Mitropoulos tenía una fabulosa memoria y sin importar lo complicado de la música nunca usaba la partitura, ni siquiera en los ensayos. Tampoco empleaba batuta y gesticulaba grandiosamente llamando poderosamente la atención del público. Su apariencia física también lo hacía.

Su suceso con la Sinfónica de Boston le permitió retornar en enero de 1937 para una segunda temporada. Dos semanas después Mitropoulos realizó su aparición con la agrupación con la que se identificaría, la Sinfónica de Minneapolis. Sucediendo a Ormandy, el griego tomó a la orquesta ese mismo año y fue su director principal hasta 1949. Durante esos años elevó los estándares musicales de la orquesta e introdujo la música de compositores modernos en el repertorio (Berg, Schoenberg, Krenek, Sessions, Schnabel). En 1940 recibió una medalla de la Sociedad Americana Mahler por su promoción de la música de este autor. Y a través de la Sinfónica de Minneapolis también comenzó una larga asociación con Columbia Records.

Mitropoulos se hizo ciudadano estadounidense en 1946 y dejó Minnesota en 1949 para convertirse en codirector, junto a Stokowski, de la Filarmónica de Nueva York, un conjunto que había dirigido con frecuencia desde su debut como invitado en 1940. Desde 1950 a 1958 fue el único director musical de la Filarmónica recibiendo el entusiasmo inicial de todos los sectores hasta que diversos factores condujeron a un infeliz término. Primero estuvo la inclusión de obras modernas, lo que encontró una creciente oposición de la orquesta, el público y la crítica. Paralelamente se apreció un deterioro en la disciplina de la orquesta y se atribuyó a la poca firmeza del director. Así fue que la orquesta, después de una gira sudamericana, anunció la partida de Mitropoulos en 1958.

Entretanto Mitropoulos había iniciado una cercana y exitosa relación con el Metropolitan. Después de dirigir Salomé de Strauss en 1954, retornó a cada temporada del Met hasta su muerte, conduciendo el estreno mundial de Vanesa de Barber en enero de 1958. También apareció en los principales escenarios europeos y fue con la orquesta de La Scala que realizó la última actuación de su vida. El 2 de noviembre de 1960, mientras dirigía un ensayo de la tercera sinfonía de Mahler, sufrió un ataque cardiaco, cayó del podio y murió. Sus cenizas fueron sepultadas con gran ceremonial en Atenas y una competencia de directores se estableció con su nombre en Nueva York.