La fortalesa existia ja als voltants del segle X com a possessió dels Comtes de Cerdanya (si no abans com a baluard del Califat de Còrdova, quan la frontera que els separava dels comtats catalans es trobava més cap al nord del país).
Més tard, l'any 1148 Castellfollit va passar al domini directe dels Comtes de Barcelona. A finals del segle XIII i fins a la fi de les senyories jurisdiccionals trobem que el castell estava senyorejat pels Cardona com a feudataris de la casa reial, els quals ja tenien sota el seu domini la majoria de places fortes dels voltants. Finalment l'any 1822, en un context històric marcat pels enfrontaments entre absolutistes i reialistes durant el Trienni Liberal, el Castell va ser volat pel General Mina provocant el seu abandonament definitiu.
L'any 1981 es van descobrir en una de les estances interiors del castell, on es creu que hi havia la presó, uns grafits gravats a les parets laterals sobre l'arrebossat de calç i arena. En aquests grafits es pot apreciar un conjunt fortificat bastant extens i una escena bèl·lica on hi ha representats dos cavallers, el relleu d'un castell i una màquina de guerra o fonèvol al seu peu. Hi ha diverses teories sobre aquestes escenes, una d'elles diu que es tracta d'una escena que possiblement va veure el presoner abans d'entrar al Castell de Sant Esteve, ja que un dels cavallers representats duu l'escut dels Cardona a l'arnés del seu cavall i el Castell de Sant Esteve els pertanyia, però pren més força la teoria on es creu que representa el setge i assalt de Pere el Gran a Balaguer, per l'estructura del conjunt fortificat es pot apreciar que les voltes i la disposició del castell coincideixen encara avui amb el relleu de la ciutat de Balaguer vista des de l'altra banda del riu Segre, a més durant el setge de Balaguer es trobava en aquell indret tota la noblesa revoltada, entre ells Ramon Folc, vescomte de Cardona, quan va arribar Pere el Gran amb un gran exèrcit i els va fer empresonar, per això es creu que el cavaller que duu l'escut dels Cardona pot representar al vescomte i l'altre cavaller sense escuts aparentment visibles a l'arnès del cavall es creu que representa al rei ja que la imatge coincideix completament amb el segell de Pere el Gran i es poden apreciar les barres reials encara que no tinguin color. Es creu que l'esgrafiador era un presoner del rei, del llinatge o seguici dels Cardona, ja que és l'emblema més representat tot hi haver-hi molts altres nobles lluitant contra les tropes reials, no necessàriament havia de ser el vescomte de Cardona però sí que podria tractar-se d'un dels seus homes que va ser empresonat amb ell per servir-lo durant l'any de presó imposat pel rei a tots els nobles, i es creu que, tot i que el Castell de Sant Esteve podria ser que encara no pertanyés als Cardona, hagués estat el lloc indicat pel rei per a que el vescomte de Cardona complís la seva pena de presó.
Actualment el monument es composa d'un recinte emmurallat central dins els quals es conserven els fonaments de la torre mestra, murs enrunats i vàries dependències, algunes d'elles soterrades per les runes de les explosions que va patir el castell al 1822. Al nord i sud d'aquest recinte es conserven en peu dues torres albarranes. El Castell és de visita exterior lliure i si es volen visitar els grafits s'ha de consultar a l'Ajuntament.