Sinh ra tại Babenhausen, gần Augsburg, Đức, Jochum học piano và organ tại Augsburg cho đến năm 1922.Ông sau đó nghiên cứu tiến hành tại Munich. bài viết đầu tiên của anh là vai một nghệ sĩ dương cầm diễn tập tại Mönchen-Gladbach, và sau đó tại Kiel. Ông đã bắt đầu album đầu tay của mình với dàn nhạc Philharmonic Munich vào năm 1926 trong một chương trình trong đó bao gồm Bruckner của Seventh Symphony. Trong cùng năm đó ông được bổ nhiệm dẫn tại Kiel Opera House, nơi mà ông đã tiến hành mười bảy vở opera trong mùa giải đầu tiên, bao gồm The Flying Dutchman, Der Rosenkavalier và Turandot.