Vigía del Congosto del Cajigar, sobre un perfil de roca quebradizo y acceso por pista a su espalda, el castillo de Fals conserva el esqueleto de su torre y parte del muro que lo configuró como un control del paso medieval hacia las tierras fértiles del sur. Su permanencia en la confluencia de ríos, con el afluencia del Ríu Sec, le proporcionan aún una presencia llamativa y atractiva para la visita o la mera contemplación de su silueta.
Construcción del siglo XI, su ubicación marca la posición de defensa en la que se aposentaba el pueblo de Fals, cabecera anterior al desarrollo de Tolva. La torre es la parte mejor conservada, pero no la más antigua. Fases del muro se pueden observar en distintas fases de estado, adivinándose un trazado mayor de la fortaleza protegida por varios torreones cuadrangulares de los que aún queda la cimentación.
Bajando la ladera hacia el Mas habitado, se asienta la antigua iglesia, también de origen románico, cuya portada y ventanales fueron trasladados a la actual Iglesia Parroquial de Tolva. Ahora únicamente queda la estructura.
La historia del conjunto narra que fue conquistado por Arnau Mir de Tost, quien lo legó a su hija Letgarda y a su nieto Guerau en feudo por el rey de Aragón. En 1322 se integró en el tercer condado de Ribagorza. En 1588 los partidarios del duque de Ribagorza fueron asediados en este castillo por el Miñón de Montellar, durante la guerra civil ribagorzana. Desde entonces prácticamente desapareció la población de Fals, quedando únicamente el llamado Mas de Fals.