Harju JK est fondé en août 2009 avec un objectif clair : faire grandir le football local et le football de jeunes, tout en formant des joueurs destinés aux sélections nationales de jeunes estoniennes ou à de possibles transferts à l’étranger.

En 2015, le club entre dans la pyramide estonienne par le sixième échelon et décroche la montée au cinquième niveau dès sa première saison. En 2019, Harju JK nomme le Portugais Victor da Silva entraîneur principal : sous sa direction, le club enchaîne quatre promotions consécutives jusqu’à la deuxième division. Durant cette période, l’équipe s’appuie majoritairement sur les joueurs issus de son propre système de formation. Cette dynamique débouche aussi sur les premiers départs de jeunes Estoniens vers l’étranger : Karel Mustmaa signe en 2021 un contrat professionnel de trois ans avec Benfica U17, puis Imre Kartau rejoint l’équipe U18 de Venezia F.C l’année suivante.

Harju remporte sa première Esiliiga lors de la saison 2022 et obtient, pour la première fois de son histoire, l’accession à la Premium Liiga. Pour ses débuts au plus haut niveau, le club termine dernier et redescend immédiatement en deuxième division en 2023. À cet étage, Harju réalise ensuite une excellente saison, ne perdant que deux fois, et obtient la remontée dans l’élite en 2024.