En 1379, la forteresse, proche de Solignac et de Limoges, est aux mains de la bande du brigand Paya Negra. Selon les Annales manuscrites, pour les en chasser, la ville dut mobiliser hommes et finances en 1380. Cette même source semble indiquer que Bertrand Du Guesclin aurait participé à l’expédition contre les routiers de Châlucet, aux côtés de Louis de Sancerre. Toujours est-il que la même année, Perrot de Fontaines, dit le Béarnais – originaire d’Orthez – et sa bande de Gascons, Béarnais, Limousins et Périgourdins, prennent le château à leur tour, en compagnie d’un autre capitaine, Aymerigot Marchès, Limousin d’origine noble. Les habitants de la contrée consentent à lui payer des redevances en nature et de grosses sommes d’argent. Un recueil de miracles composé en 1388 par un moine de Saint-Martial montre Limoges comme assiégée par les brigands : les voyageurs, colporteurs ou négociants, sont obligés d’acheter très cher un sauf-conduit, les paysans n’osent plus apporter leurs denrées aux marchés, ni mener leurs bestiaux aux foires. Perrot a mis en place un véritable système de racket des collectivités : c’est la sufferte, la sauvegarde accordée par les brigands, moyennant le paiement d’une taxe, le patis. Il accomplit ses méfaits dans un large rayon, jusqu’en Auvergne ou La Rochelle. C’est un homme avisé, un thésauriseur, prudent et modéré, habile à conclure des accords avec les villes qui lui paient des redevances ; il sait même, au besoin, servir la cause française.
Parfois, des individus essaient de résister. Ainsi une lettre de grâce et de rémission est-elle donnée en juin 1389 pour Pierre Polet, un habitant de Saint-Lazare, près de Limoges. Celui-ci voit un routier faire violence à sa femme âgée de quinze ans : « ledit Anglois print sa dicte femme devant son dit mary et coucha avecques elle et la cognut charnelement contre son gré ». Saisissant un bâton, Pierre Polet assomme le brigand et le jette dans un puits. Possédant une belle propriété à Brassempoing, dans les Landes, Perrot fait savoir qu’il quittera le Limousin contre une somme énorme : 250 000 francs. On décide la levée d’un impôt extraordinaire dans toute la région, auquel est soumis le clergé après autorisation du pape Clément VII. Le 4 janvier 1393, ayant touché la somme convenue, le brigand quitte la forteresse. Quant à Aymerigot Marchès, qui l’avait aidé, il fut trahi par son cousin Jean, sire de Tournemire, qui le livra aux gens du roi en 1391 ; transféré à la Bastille puis au Châtelet, il est interrogé puis condamné (la sentence lui est lue alors qu’il est au pilori). Il est traîné sur une claie, promené à travers Paris, décapité – sa tête mise au bout d’une lance –, démembré – ses quatre membres sont pendus aux quatre portes de la ville et son corps pendu « à la justice du roi ».
