Potomek polskiej rodziny osiadłej w Stanach Zjednoczonych, do Warszawy przeniósł się w roku 1974. Absolwent pedagogiki w Szkole Muzycznej Uniwersytetu Michigan (The School of Music at the Univeristy of Michigan) w Ann Arbor. Dyrygenturę studiował u Elizabeth Green, Thomasa Hilbisha, Maynarda Kleina i Gustava Meiera w Ann Arbor. Studia uzupełniające odbył w słynnym Tangelwood pod kierunkiem takich mistrzów, jak Seji Ozawa i Kurt Masur. Trzykrotnie był stypendystą Fundacji Kościuszkowskiej w Nowym Jorku (badania nad polską muzyką chóralną, seminarium dyrygenckie w Tangelwood oraz badanie twórczości Zygmunta Stojowskiego).
W Warszawie pracował początkowo jako nauczyciel i dyrygent w Szkole Amerykańskiej (American School of Warsaw). Był gościnnym dyrygentem w Teatrze Wielkim i w Teatrze Polskiego Radia. Współpracował z wieloma orkiestrami w całej Polsce, dyrygował na wielu festiwalach muzycznych w Europie i Stanach Zjednoczonych. Z Orkiestrą Filharmonii Narodowej nagrał muzykę Krzesimira Dębskiego do filmu i serialu „Alchemik”.
Prowadził także chór mieszany Schola Cantorum i kierował założoną przez siebie Kameralną Orkiestrą św. Antoniego. W 1990 roku założył Chór Chłopięco–Męski Archikatedry Warszawskiej św. Jana Cantores Minores. Pod jego przewodnictwem chór występował w 17 krajach i brał udział w 26 festiwalach zarówno w Polsce jak i zagranicą, zdobywając na nich czołowe nagrody.
Joseph Herter jest znanym propagatorem dzieł operowych, orkiestrowych i chóralnych takich kompozytorów, jak: Bax, Barber, Bernstein, Britten, Copland, Hindemith, Honegger, Martland, Menotti and Vaughan Williams. Dyrygował polskimi premierami utworów Marcina Błażewicza, Krzesimira Dębskiego, Jacka Grudnia, Witolda Lutosławskiego, Piotra Mossa, Andrzeja Panufnika, Roxanny Panufnik, Michała Spisaka i Zygmunta Stojowskiego. Współpracuje z Gregorian Institute of America w Chicago. Jest także znanym publicystą.
Od 1989 roku związany jest z Teatrem Rozrywki w Chorzowie, gdzie dyrygował takimi musicalami jak: „Czarodziej z krainy Oz”, „Cabaret”, „Skrzypek na dachu”, „Człowiek z La Manchy”, „The Canterville Ghost”, „Jesus Christ Superstar”, „Dyzma – musical”, „West Side Story”, "Oliver!" czy "Producenci".
