Tot i que dins el terme municipal s'han localitzat minses restes de prehistòria i es coneixen assentaments d'època ibèrica i sobretot romana, el nucli actual de la vila no s'origina fins ben entrada l'Edat Mitjana, quan les necessitats estratègiques de l'època obliguen a la construcció del castell en els punts més alts del lloc on confluïen el camí Ral, que venia d'Igualada i anava cap a Ponts, i el camí de la Sal, que venia de Cardona i anava cap a Cervera.
La fortalesa existia ja als voltants de l'any 1000 com a possessió dels comtes de Cerdanya (si no abans com a baluard del Califat de Còrdova, quan la frontera que el separava dels comtats catalans es trobava més cap al nord del país).
Durant els segles XIV i XV es documenta la presència de famílies jueves a la vila, fet que duu a pensar en la antiga existència d'un petit call als voltants de la part baixa del carrer Major.
El 1582 Castellfollit formava part del comú i la universitat de la vegueria de Torà i més endavant, el 1640, Francesc de Sabater, senyor de Castellfollit, és nomenat veguer de la Segarra.
Després de 1714, Felip V manà l'enderrocament de tots els castells no reials, el de Castellfollit es va salvar perquè pertanyia a la casa reial catalana. Pitjor sort va córrer el 1822, quan el general Mina durant la persecució contra la Regència d'Urgell va fer volar amb explosius el castell, fet que en va malmetre considerablement l'estructura i bona part de les defenses de la vila.
Cap a 1894 l'arribada de la fil·loxera va suposar la pèrdua de la vinya, una de les fonts de riquesa més importants d'aquells anys, de tal manera que entre aquests esdeveniments i el 1954 la vila va perdre més de la meitat de la seva població.
Pel que respecta a les arrels etimològiques de Castellfollit de Riubregós en Joan Farell i Domingo en la seva monografia sobre la vila de Castellfollit ens recorda que el nom de Castellfollit de Riubregós no és de formació recent. Fa un miler d anys que es coneix, encara que la grafia actual s ha anat conformant en el curs del temps.
Cap a l'acabament del segle X és quan es troba per primera vegada escrit el seu nom en l'acte de prestació de fidelitat i homenatge que els castellans habitadors del castell fan al seu senyor, el comte Guifré de Cerdanya. Hi ha escrit el nom del lloc: Castro Follit.
En un document del 1035 s'esmenta ja la dedicació patronímica del castell: Sancti Stephany de Castro Follit.
L'any 1131, en un testament de Ramon Berenguer III s'escriu ja el nom complet del lloc: Castro Follit de Rivo Meritabile , i l'any 1375 en un document expedit pel rei Cerimoniós, trobem la grafia completa actual: "Castro Follit de Rivolutoso".
Tot i que l'origen històric del nom és bastant clar la seva etimologia i les seves arrels lingüístiques són motiu de debat entre els especialistes. Hi ha qui assimila castro follit amb castell frondós, però també s'ha donat a follit el significat de cingle al derivar el terme de la veu anglesa fall, la qual té aquest significat a més de pronunciar-se fol.
Pel que fa al terme Riubregós, filòlegs com en Joan Coromines creuen que deriva de brag, sinònim de fang, donant l'etimologia riu fangós
La primera referència documental al Castell de Sant Esteve data del segle XI on apareix com un enclavament defensiu clau pertanyent a la casa comtal de Cerdanya.