Pocos nacieron con el linaje musical de Alma Rosé. Su padre era Arnold Rosenblum, concertino de la Filarmónica de Viena, quien cambió su apellido por Rosé en 1882 y fundó el Cuarteto Rosé conocido internacionalmente. Su madre, Justine Mahler, era la hermana menor del compositor judío Gustav Mahler. Alma Rosé creció rodeada de las estrellas musicales de Alemania y Viena de principios del siglo XX. En 1930, la joven de 24 años se casó con Váša Příhoda, un brillante violinista checo. Unos años más tarde fundó la orquesta ambulante de mujeres llamada Viennese Waltzing Girls, que fue tan popular que incluso en los años de la Gran Depresión obtuvo ganancias importantes. Sin embargo, su éxito terminó cuando Hitler llegó al poder en 1933. Consciente de las posibles consecuencias de este giro político, el hermano de Alma y su cuñada huyeron a los Estados Unidos y dejaron a Alma al cuidado de su padre. Alma logró mudarse con su padre a un lugar seguro en Londres y luego se trasladó a Holanda para continuar con su carrera musical. Se hizo fama de ser una virtuosa violinista e hizo giras exitosas por el continente europeo durante la década de 1930 y principios de 1940. Su suerte llegó a su fin cuando fue arrestada en Francia y enviada a Drancy por varios meses. En julio de 1943 fue trasladada a Auschwitz.
A su llegada a Auschwitz, Rosé fue enviada a la barraca de experimentación médica. Como estaba registrada con el apellido de su segundo marido holandés, los oficiales nazis no se dieron cuenta de quién era. Sin embargo, para la celebración de cumpleaños de un VIP, se solicitó una violinista y los guardias quedaron tan impresionados con su virtuosismo que rápidamente fue trasladada a Birkenau. En agosto de 1943, se convirtió en la directora de la orquesta de mujeres de Birkenau. El personal de las SS la respetaba, pero en particular se convirtió en la protegida de la guardia de las SS Maria Mandel. Pidió una barraca especial para la orquesta, que tenía un salón y un área de práctica, con suelo de madera para proteger los instrumentos del frío y la humedad. Además, logró terminar con la exigencia de tocar bajo la lluvia y la nieve. Antes de su llegada, la orquesta de mujeres sólo tenía acceso a las partituras de la orquesta de hombres de Auschwitz, pero Rosé convenció a algunos oficiales de las SS para que les consiguieran partituras adicionales. No obstante ello, ex miembros de la orquesta (con la notable excepción de Fania Fénelon) concuerdan en que ella no intentaba complacer a las SS (por ejemplo, se hizo famosa por detener su música si las guardias no estaban prestando atención), sino que trataba con ellas como una música profesional.
Al sustituir a la profesora de música polaca Zofia Czajkowska como directora de la orquesta, Rosé inmediatamente comenzó a trabajar en la calidad de la banda. Cuestionó la inclinación de Czajkowska por favorecer a las mujeres polacas y logró que se despidieran menos artistas, aunque siempre trataba de mantener a las músicas menos talentosas como empleadas y asistentes, en lugar de simplemente despedirlas (un gesto que salvaba vidas en el contexto de Auschwitz). En contraste con su predecesora, Rosé era muy estricta y exigente y llevaba a sus artistas hasta los límites de su resistencia. Habitualmente ensayaban durante ocho horas, además de tocar en la puerta del campo por la mañana y por la tarde. A pesar de ello, solía ser respetada por su orquesta y era valorada tanto por su habilidad para tocar el violín como por su capacidad para dirigir la orquesta. Por sobre todas las cosas, entendía que para sobrevivir tenían que complacer a las SS y ella no contaba con músicas profesionales de lujo en su orquesta, por lo que les exigía mucho a las integrantes de su banda (en su mayoría, amateurs). Era muy exigente consigo misma también y tenía la esperanza de que si tocaban lo suficientemente bien les iban a permitir vivir.
La estricta disciplina de Rosé llevó a una rápida y drástica mejora en la calidad de la orquesta. El repertorio también aumentó considerablemente: pasó de marchas alemanas y canciones populares polacas a un variado repertorio clásico. Rosé arregló las piezas para su orquesta de alguna partitura disponible o de melodías que recordaba de memoria. Incluyó obras de Mozart, Schubert, Vivaldi, Johann Strauss y Franz Liszt, como así también éxitos alemanes y música de películas y operetas. Su incorporación en la orquesta hizo que algunas integrantes sintieran que
ella vivía en otro planeta. La música para ella representaba su amor y sus desengaños, su dolor y su alegría, su anhelo eterno y su fe, y esa música flotaba más allá de la atmósfera del campo.
Como la orquesta mejoró bajo su liderazgo, las demandas para su banda también aumentaron. Además de las marchas que tocaban dos veces al día, eran obligadas a realizar conciertos dominicales para ciertos reclusos y para el personal del campo, debían hacer visitas regulares a la enfermería, tocar durante las visitas élite al campo y estar disponibles para las demandas individuales de las SS.
El último concierto de Alma Rosé fue en una fiesta privada de las SS el 2 de abril de 1944. De repente e inexplicablemente se enfermó y fue trasladada al hospital con dolores de cabeza y de estómago y con fiebre alta. El 4 de abril de 1944 fue declarada muerta. Su muerte sigue siendo controvertida, con especulaciones en cuanto a sus causas que van desde un suicidio a un envenenamiento por parte de funcionarios celosos, aunque muchos insisten en que fue víctima de una intoxicación alimentaria accidental o de una infección repentina. En honor a su estatus único, después de su muerte, las SS aprobaron una celebración solemne en su memoria; tal vez la única ocasión en la historia de los campos que los oficiales de las SS honraron a un prisionero judío muerto. El cuerpo estaba envuelto en una tela blanca y estaba rodeado de flores. Para las integrantes de la orquesta, sin embargo, el dolor se mezcló con el miedo. Como recordaba la ex integrante Silvia Wagenberg:
Cuando ella murió, pensé: “ahora se acabó todo: o nos envían a algún otro lugar (entonces estamos perdidas) o nos mandan directamente a la cámara de gas. No se puede explicar lo que Alma significaba para la orquesta”.
