Mens opprinnelsen av sangen er obskur, noen bevis steder sine røtter med vaudeville og teater fungerer på slutten av det 19. århundre og begynnelsen av det 20. århundre populære i innvandrermiljøene. Noen vaudeville handlinger i løpet av den tiden, slik som arbeidet med Joe Weber og Lew Felt, ofte ga stemme til felles frustrasjoner av tysk-Amerikansk innvandrere og lente seg tungt på malapropisms og vanskeligheter med det engelske språket som et redskap for sin humor., «John Jacob Jingleheimer Schmidt» deler mange egenskaper med «Mitt Navn Er Jan Jansen», en sang som kan spore sin opprinnelse til svenske vaudeville i slutten av det 19. århundre.
Den sangen synes å ha allerede blitt allment kjent ved midten av det tjuende århundre. Den fikk et stort løft da den ble distribuert over hele landet i løpet speider tropp sammenkomster i slutten av 1920-tallet og tidlig på 1930-tallet., I 1926, og De Gangene avis av Munster, Indiana skrives ut som, under en Jente Speider tur, speidere satt rundt et leirbålet og «det var høytidelig annonsert at John Jacob Jingleheimer Smith etter en lang og nyttig liv hadde dødd av overarbeid på vei til Russland. Han ble gravlagt med på grunn av seremoni og hans ånd er ikke å bli sett frem til oktober første. Alle favoritt camp sanger ble sunget.»I 1927, Portsmouth Daglig Times rapporterte at en gruppe gutter fra staten YMCA camp sang flere camp sanger, inkludert «John Jacob Jingleheimer Schmidt.,»I 1931, Elmira, New York-avisen Star-Gazette rapportert at en Speider gathering på Seneca Lake, som speidere inn i rotet hall, «Tropp 18 snart sprekke i den første leiren sang, ‘John Jacob Jingleheimer Smith’.»Et 1941 Milwaukee Journal artikkelen viser også til sangen, med den samme alternative tittelen «John Jacob Jingleheimer Smith.»
sangen er på ubestemt tid repeterende, på en lignende måte til «Sangen Som Aldri tar slutt», «Mitt Navn Er Jan Jansen» eller «Michael Finnegan.,»
Versjoner av sangen vises i andre språk, for eksempel den spanske gjengivelse, «Juan Paco Pedro de la Mar.»