Während die Ursprünge des Liedes unklar sind,Einige Beweise legen ihre Wurzeln mit Varieté-und Theater-Acts des späten 19. Einige Varieté-Acts während der Ära, wie die Arbeit von Joe Weber und Lew Fields, gaben oft der gemeinsamen Frustration deutsch-amerikanischer Einwanderer Ausdruck und stützten sich stark auf Malapropismen und Schwierigkeiten mit der englischen Sprache als Vehikel für ihren Humor., „John Jacob Jingleheimer Schmidt“ teilt viele Eigenschaften mit „Mein Name ist Jan Jansen“, einem Lied, das seinen Ursprung im schwedischen Varieté im späten 19.

Das Lied scheint bereits Mitte des zwanzigsten Jahrhunderts weithin bekannt geworden zu sein. Es erhielt einen großen Schub, als es während Pfadfindertreffen in den späten 1920er und frühen 1930er Jahren im ganzen Land verbreitet wurde., Im Jahr 1926 druckte die Zeitung The Times of Munster, Indiana, dass die Pfadfinder während eines Pfadfinderausflugs um ein Lagerfeuer saßen und „es wurde feierlich angekündigt, dass John Jacob Jingleheimer Smith nach einem langen und nützlichen Leben auf dem Weg nach Whiting an Überarbeitung gestorben war. Er wurde mit gebührender Zeremonie begraben und sein Geist ist erst im Oktober zu sehen. Alle Lieblingslieder des Lagers wurden gesungen.“1927 berichtete die Portsmouth Daily Times, dass eine Gruppe von Jungen aus dem staatlichen YMCA-Lager mehrere Lagerlieder sang, darunter „John Jacob Jingleheimer“.,“1931 berichtete Elmira, New Yorker Zeitung the Star-Gazette, dass bei einem Pfadfindertreffen am Seneca Lake, als Pfadfinder die Mess Hall betraten, „Troop 18 bald in das erste Lagerlied“ John Jacob Jingleheimer Smith “ einbrach.“Ein 1941 Milwaukee Journal Artikel verweist auch auf den song, mit dem selben alternativen Titel „John Jacob Jingleheimer Smith.“

Das Lied wiederholt sich auf unbestimmte Zeit, ähnlich wie „Das Lied, das niemals endet“, „Mein Name ist Jan Jansen „oder“ Michael Finnegan.,“

Versionen des Liedes erscheinen in anderen Sprachen, wie die spanische Wiedergabe“, Juan Paco Pedro de la Mar.“