L'histoire de l'auberge est indissociable de celle du pont du Port de la Besse.

Avant la construction du pont, la traversée se faisait au moyen d'un bac tracté par une chaîne (cadenne en occitan) ; aussi le lieu s'appelait Port de la Cadenne.

Le bac assurait la liaison entre les deux rives, mais à plusieurs reprises des accidents se produisirent ; et les communautés avoisinantes souhaitèrent s'équiper d'un pont. C'est en 1789, après moult difficultés, qu'elles parvinrent à trouver un financement pour construire ce pont. L'accord trouvé incluait des financements des départements, ainsi que de l'État.

Ce dernier point permet de comprendre les délais importants pour lancer ce chantier : à cette période, Napoléon III lançait l'équipement à marche forcée de la France en chemins de fer, et la voie ferrée en projet allait concurrencer directement ledit pont.

La seconde difficulté, fut ensuite de trouver un maçon susceptible de remplir les conditions pour remporter l'appel d'offre ; celui-ci comportait en effet une obligation de s'installer sur les lieux afin d'assurer l'entretien et les réparations éventuelles du pont. En échange, le maçon était autorisé à mettre en place un péage à son profit. C'est un certain François Fabre qui finit par l'emporter.

En s'installant sur les lieux, la famille Fabre prit l'usage d'appeler le lieu Tournemire - en référence à un château en ruines introuvable, mais célèbre dans les environs -. Ce choix fut probablement fait afin d'augmenter le prestige du lieu ainsi que la position sociale des Fabre. Ce n'est que plus tard qu'il prendra le nom de Port de la Besse.

Autour de 1895, la concession au profit des Fabre sera rachetée par l'État, et la famille se tournera alors vers l'activité d'auberge et d'hôtellerie.

Pour découvrir tous ces secrets, lisez l'enquête familiale signée Pierre BILLION LAROUTE.