Dolberg swoją karierę rozpoczynał w Silkeborg-Voel, a następnie przeniósł się do Silkeborg IF. W pierwszej drużynie zadebiutował w wieku 17 lat. 17 maja 2015 roku wszedł na boisko w przegranym meczu z Brondby IF.

Talent zawodnika wypatrzył Ajax, który ściągnął go do swojej akademii. Dolberg kilka razy trenował z drużyną A1, aż w końcu 5 stycznia 2015 osiągnął porozumienie w sprawie swojego trzyletniego kontraktu. Dolberg zaczął grać dla drużyny A1, w tym również w młodzieżowej Lidze Mistrzów. 21 grudnia 2015 roku, Frank de Boer ogłosił, iż Duńczyk pojedzie z drużyną na obóz przygotowawczy. 13 maja 2016 roku, tuż po tym jak Ajax przegrał mistrzostwo kraju po fatalnym meczu z De Graafschap, Dolberg przedłużył swoją umowę do połowy 2021 roku.

Następcą De Boera był Peter Bosz, który włączył gracza do pierwszej selekcji i pozwolił mu regularnie trenować i grać w pierwszym składzie. Mało kto spodziewał się jednak, że to Dolberg będzie pierwszym wyborem na nowy sezon. Swój pierwszy oficjalny mecz rozegrał 26 lipca 2016 roku, zdobył gola, a Ajax zremisował w kwalifikacjach Ligi Mistrzów z PAOKiem Saloniki. 13 sierpnia, Kasper zaliczył swoje pierwsze ligowe trafienia dla Ajaksu. Duńczyk trafił na 1:0 i 2:1, a Ajax pokonał rywala. 20 listopada, Dolberg zaliczył swojego pierwszego hat-tricka w karierze, a Ajax pokonał 5:0 NEC. Na zakończenie sezonu, Kasper został uznany największym talentem sezonu 2016/17.

Niesamowity pierwszy sezon sprawił, iż w lecie o Dolbergu zrobiło się bardzo głośno. Dodatkowo klub opuścił Bosz, który rzekomo chciał mieć Duńczyka u siebie w Dortmundzie. AS Monaco miało oferować za gracza nawet 50 milionów, ale do transferu nie doszło. Kasper zaczął kolejny sezon w Amsterdamie, ale nic nie szło już tak jak powinno. Napastnik był cieniem samego siebie, grał słabo i zaczął przegrywać walkę z Klaasem Janem Huntelaarem. Doświadczony napastnik zjadał młodzika we wszystkich statystykach, ale Keizer czasami na siłę dalej próbował wystawiać Duńczyka. Kasper lepsze mecze przeplatał słabszymi.