Joseph Gillain s'intéresse dès son plus jeune âge à la peinture. Dès 11 ans, ses premières oeuvres, principalement des aquarelles, sont consacrées à la nature environnante, au gré de ses déplacements et de son temps libre. A partir de 16 ans, probablement captivé par les expressions de visages caractérisés par des non-dits, il va réaliser quelques portraits à l'huile remarquables par le sérieux et la concentration de ses modèles. A la même époque, Joseph Gillain suit des cours du soir donnés par le peintre Leon Van den Houten avec lequel il s'initiera au fauvisme et à l'impressionnisme.