Boulaya inizia la sua carriera in Ligue 2 nell'Istres, squadra in cui è cresciuto.[1] Dopo tre stagioni nell'Istres, nell'estate 2015 Boulaya si trasferisce al Clermont Foot, sempre in Ligue 2.[2] Nel corso della stagione si mette in mostra come una delle rivelazioni del campionato.[3] Nell'estate del 2016 il Bastia compra Boulaya, facendogli firmare un contratto di 4 anni e permettendogli così di debuttare in Ligue 1.[4] Tuttavia un grave infortunio al legamento crociato ne pregiudica la stagione, che per lui si conclude con due sole presenze.[5] Dopo una sola stagione dunque Boulaya lascia il Bastia, trasferendosi in Spagna al Girona.[6] Nei sei mesi in Spagna però Boulaya non trova spazio, e quindi nel gennaio 2018 il club spagnolo lo cede in prestito con obbligo di riscatto[5] ai francesi del Metz, in Ligue 1.[7]