Семилетний мальчик играл на скрипке у окна квартиры, находившейся в еврейском рабочем квартале Роттердама, где жила его семья. Мальчик – абсолютный самоучка – в какой-то момент осознал, что музыка помогает ему на время укрыться от убожества окружающего мира. Однажды Леон Блурман, преподаватель по классу скрипки в консерватории, случайно прогуливался поблизости и услышал игру юного Луиса Баннета. Поднявшись наверх, в крохотную квартирку, он организовал внеплановое прослушивание. Блурман устроил вундеркинда в консерваторию качестве студента и взял Луиса под свою опеку.
Баннет был самым юным студентом консерватории и относился к учебе очень серьезно. Вместе с несколькими однокурсниками, он создал небольшой оркестр. Музыканты играли на Бар-мицвах и на улицах города, добывая таким способом скудный заработок. Луис Баннет был так талантлив, что в 1923 году двенадцатилетнего музыканта выбрали для выступления перед голландской королевой Вильгеминой во время ее визита в город.
После окончания учебы талантливому музыканту пришлось бороться за выживание. В послевоенные годы экономическая ситуация в Голландии была непроста, и молодых исполнителей, испытывающих затруднения, никто не поддерживал. Баннет находил лишь случайную работу – аккомпанировал в составе оркестра на днях рождениях или сеансах немого кино. Переворот в судьбе музыканта произошел во время первого прослушивания джазовых записей Луи Армстронга. Музыка совершенно пленила Баннета. Юноша держал в руках трубу и теперь он знал, куда двигаться дальше. Благодаря финансовой поддержке своего дяди, Баннет поступил в класс Аарона де Вриса, а параллельно оттачивал технику игры на трубе и слушал все записи Луи Армстронга и его "Горячей пятерки", какие только мог найти.
Через несколько лет Баннет получил место трубача в бенде "Антон Свон и Свонтокеры", музыканты играли в танцевальных залах и клубах Амстердама и Гааги. В 1934 году "Ритмическая пятерка Луиса Баннета" начала выступления. В ее состав входили – барабанщик Мориц фон Клиф, вибрафонист Дик фон Хевел, контрабасист и саксофонист Жак де Врис и пианист Лекс фон Церен. Новая музыкальная группа успешно гастролировала по Центральной Европе. А когда Баннет добавил к инструментальным выступлениям вокальные номера, газеты окрестили его "голландским Армстронгом".
К концу 30-х годов Баннет получил репутацию блестящего исполнителя на духовых инструментах. Угроза нацизма не слишком волновала молодого музыканта, скорее об этом беспокоились его еврейские друзья. Нейтралитет Голландии, а также традиционная голландская терпимость, вселяли в Баннета ложную уверенность в настоящем и будущем.