Johan de With werd geboren in 1939 te Minnertsga (Fr.) en woont nu in Veenwouden. Op zijn tiende jaar raakte hij in de ban van het accordeon, en tijdens zijn studie aan het Stedelijk Gymnasium te Leeuwarden (1952-1958) begon hij les te nemen van Marten Brouwer (accordeon, maar al gauw ook muziektheorie). De lessen werden van doorslaggevende betekenis voor zijn verdere ontwikkeling. Weldra gaf hij zelf ook les aan diverse muziekscholen en leidde accordeonorkesten. Na Brouwers overlijden in 1963 werd hij van orkestlid tot dirigent van het "Schoolorkest", dat toen "Brouwer's AkkordeonOrkest" (BAO) werd. 

Van een universitaire studie natuurkunde in Groningen schakelde hij over naar een conservatoriumopleiding accordeon zodra dat mogelijk was. Na afsluiting daarvan (met als hoofdvakleraren Philip van Loon en Wilt Boonstra) studeerde hij Theorie der Muziek bij Wim Brandse aan het conservatorium te Zwolle, en was van 1965 tot 1990 docent accordeon, later ook muziektheorie, aan wat aanvankelijk de "afdeling vakopleiding van de Leeuwarder Muziekschool" heette, later de MuziekPedagogische Akademie Leeuwarden en nog later het Leeuwarder Conservatorium. Na de gedwongen opheffing van dat instituut werd hij docent Theorie der Muziek, later ook accordeon, aan het conservatorium te Groningen. Als docent tweede fase accordeon heeft hij ook een aantal jaren gewerkt aan het Koninklijk Conservatorium te Den Haag. 

Daarnaast is hij lid van het accordeonkwartet Variabile, schrijft artikelen in accordeonbladen en was actief bij binnen- en buitenlandse accordeonmanifestaties. In 2006 is zijn boek "Draagbaar, meerstemmig, expressief; het accordeon en zijn verwanten" verschenen. Johan de With heeft als componist enkele tientallen werken op zijn naam staan, waaronder composities voor koor, voor blazers en voor orgel; en uiteraard enige met accordeon, o.a. "Oere noch tiid" voor zanger/declamator, accordeons en slaginstrumenten, "Sân" voor 7 danseressen en accordeonorkest, "Pjesma miru" voor gemengd koor, baritonzanger, harp, (bas)klarinet, 4 accordeons en slagwerk, "Canto para paz" voor gemengd koor, trompet, 3 accordeons en slagwerk, "Wurden" voor gemengd koor en accordeonorkest, "Colori del re" voor brassband en accordeonorkest, en "Wynstreken" voor hobo, hoorn en accordeonkwartet. 

Hij maakte ook diverse arrangementen voor accordeonkwartet en -orkest, waarvan diverse met solo- en/of koorzang. Vrijwel al zijn werk voor accordeonorkest is gedacht voor BAO.