Swoją karierę Joel rozpoczął w drużynie VV IJmuiden z rodzinnego miasta Velsen. W 2001 roku trafił do akademii Ajaksu. W klubie zaliczył wszystkie stopnie juniorskie aby w końcu w 2012 roku zaliczyć swój oficjalny debiut w pierwszej drużynie. Veltman pojawił się na boisku w starciu z NEC zmieniając  Mitchell Dijksa w 79 minucie. Mecz zakończył się wynikiem 6:1 na korzyść Ajaksu. Przełomem w karierze środkowego obrońcy okazał się sezon 2013/14. Joel rozpoczął go bardzo źle, bowiem doznał kontuzji i długo przebywał poza grą. Jego powrót okazał się jednak wyborny, bowiem Joel od razu wszedł do pierwszego składu i nie oddał miejsca już do samego końca. Świetna gra sprawiła, iż podpisano z nim kontrakt do 2018 roku, a Louis van Gaal zabrał go na Mundial. Śmiało można powiedzieć więc, że w sezonie 2013/14, Veltman z samego piekła dostał się do piłkarskiego nieba.

Z powodu gry na Mistrzostwach Świata, Veltman opuścił okres przygotowawczy w klubie i dołączył do klubu na kilka dni przed meczem o Johan Cruyff Schaal. Joel opuścił również pierwszy mecz ligowy i zagrał tylko dla Jong Ajax. 21 listopada 2015 roku, Joel dołączył do elitarnego grona graczy mających na koncie 100 oficjalnych występów w klubie. Przez kolejne sezony, Veltman był podstawowym graczem Joden i miał pewne miejsce w pierwszym składzie. Zmieniła się jednak rola jaką pełnił na boisku. Joel został przesunięty na prawą stronę obrony, gdzie nie wszyscy byli zadowoleni z jego gry. Typowy środkowy obrońca miał bowiem problemy z dynamiczną i ofensywną grą.

W lecie 2017 roku, Veltman został mianowany kapitanem drużyny, kiedy to Amsterdam opuścił Davy Klaassen. Mimo tego, Veltman nie był pewny pozostania w klubie. W trakcie obozu przygotowawczego ogłoszono jednak, iż defensor przedłuża swoją umowę z klubem i na razie odmawia transferu do innej ligi.