Tot i que dins el terme municipal s han localitzat minses restes de prehistòria i es coneixen assentaments d època ibèrica i sobretot romana, el nucli actual de la vila no s origina fins ben entrada l Edat Mitjana, quan les necessitats estratègiques de l època obliguen a la construcció del castell en els punts més alts del lloc on confluïen el camí Ral, que venia d Igualada i anava cap a Ponts, i el camí de la Sal, que venia de Cardona i anava cap a Cervera.

La fortalesa existia ja als voltants de l any 1000 com a possessió dels comtes de Cerdanya (si no abans com a baluard del Califat de Còrdova, quan la frontera que el separava dels comtats catalans es trobava més cap al nord del país).

Durant els segles XIV i XV es documenta la presència de famílies jueves a la vila, fet que du a pensar en la antiga existència d un petit call als voltants de la part baixa del carrer Major.

El 1582 Castellfollit formava part del comú i la universitat de la vegueria de Torà i més endavant, el 1640, Francesc de Sabater, senyor de Castellfollit, és nomenat veguer de la Segarra.

Després de 1714, Felip V manà l enderrocament de tots els castells no reials, per això el de Castellfollit se salvà gràcies a pertànyer a la casa reial catalana. Pitjor sort va córrer el 1822, quan el general Mina durant la persecució contra la Regència d Urgell va fer volar amb explosius el castell -fet que en va malmetre considerablement l estructura i bona part de les defenses de la vila.

Cap a 1894 l arribada de la fil·loxera suposà la pèrdua de la vinya, una de les fonts de riquesa més importants d aquells anys, de tal manera que entre aquests esdeveniments i el 1954 la vila va perdre més de la meitat de la seva població.

Pel que respecta a les arrels etimològiques de Castellfollit de Riubregós en Joan Farell i Domingo en la seva monografia sobre la vila de Castellfollit ens recorda que el nom de Castellfollit de Riubregós no és de formació recent. Fa un miler d anys que es coneix, encara que la grafia actual s ha anat conformant en el curs del temps.

Cap a l acabament del segle X és quan es troba per primera vegada escrit el seu nom en l acte de prestació de fidelitat i homenatge que els castellans habitadors del castell fan al seu senyor, el comte Guifré de Cerdanya. Hi ha escrit el nom del lloc: Castro Follit .

En un document del 1035 s esmenta ja la dedicació patronímica del castell: Sancti Stephany de Castro Follit .

L any 1131, en un testament de Ramon Berenguer III s escriu ja el nom complet del lloc: Castro Follit de Rivo Meritabile , i l any 1375 en un document expedit pel rei Cerimoniós, trobem la grafia completa actual: "Castro Follit de Rivolutoso".

Tot i que l origen històric del nom és bastant clar la seva etimologia i les seves arrels lingüístiques són motiu de debat entre els especialistes. Hi ha qui assimila castro follit amb castell frondós , però també s ha donat a follit el significat de cingle al derivar el terme de la veu anglesa fall , la qual té aquest significat a més de pronunciar-se fol .

Pel que fa al terme Riubregós , filòlegs com en Joan Coromines creuen que deriva de brag , sinònim de fang, donant l etimologia riu fangós .

La primera referència documental al Castell de Sant Esteve data del segle XI on apareix com un enclavament defensiu clau pertanyent a la casa comtal de Cerdanya.