Si bien los orígenes de la canción son oscuros, algunas pruebas sitúan sus raíces con el vodevil y los actos teatrales de finales del siglo XIX y principios del siglo XX populares en las comunidades de inmigrantes. Algunos actos de vodevil durante la época, como el trabajo de Joe Weber y Lew Fields, a menudo daban voz a las frustraciones compartidas de los inmigrantes germano-estadounidenses y se apoyaban fuertemente en malapropismos y dificultades con el idioma inglés como vehículo para su humor., «John Jacob Jingleheimer Schmidt » comparte muchas características con» My Name Is Jan Jansen», una canción que puede rastrear su origen al vodevil sueco a finales del siglo XIX.
la canción parece haber llegado a ser ampliamente conocida a mediados del siglo XX. Recibió un gran impulso cuando circuló por todo el país durante las reuniones de tropas scout a finales de la década de 1920 y principios de la década de 1930., En 1926, el periódico The Times de Munster, Indiana, publicó que, durante una excursión de Girl Scout, las scouts se sentaron alrededor de una fogata y «se anunció solemnemente que John Jacob Jingleheimer Smith después de una larga y útil vida había muerto por exceso de trabajo en el camino a Whiting. Fue enterrado con la debida ceremonia y su fantasma no se verá hasta el primero de octubre. Todas las canciones favoritas del campamento fueron cantadas. En 1927, el Portsmouth Daily Times informó que un grupo de chicos del campamento del YMCA cantaron varias canciones del campamento, incluyendo «John Jacob Jingleheimer Schmidt».,»En 1931, El Periódico de Elmira, Nueva York, The Star-Gazette informó que en una reunión de Boy Scouts en el lago Seneca, cuando los scouts entraron en el comedor,» La Tropa 18 pronto irrumpió en la primera canción del campamento, ‘John Jacob Jingleheimer Smith’. Un artículo del Milwaukee Journal de 1941 también se refiere a la canción, con el mismo título alternativo de «John Jacob Jingleheimer Smith.
la canción es indefinidamente repetitiva, de manera similar a «The Song That Never Ends», «My Name Is Jan Jansen» o «Michael Finnegan.,»
Las versiones de la canción aparecen en otros idiomas, como la versión en español, «Juan Paco Pedro de la Mar.»