En 1821, alors âgé de 7 ans, George quitte son village natal de Paisley, en Écosse. Sa famille s’installe à Lanark, en Ontario. Dans les années 1830, George Bryson profite que la Couronne vend ses terres pour venir s’installer dans le Pontiac et y commencer une exploitation forestière. Il crée, en 1843, la première scierie de la région. Il aménage une glissoire sur les chutes Coulonge pour favoriser le transport du bois. En 1854, il se fait construire cette maison qui est unique en son genre dans tout le Pontiac. Elle ressemble à celles construites par les marchands écossais dans les années 1800-1830 dans les Bas et Haut Canada. Un groupe de bâtiments, rattaché à la maison et entourant la cour, comprenait un bâtiment pour le forgeron, un pour la glace, des écuries, des hangars et des dépendances pour entreposer la nourriture. La maison en pierre située au sud de ces bâtiments a été construite autour de 1870 et servait de bureau pour la compagnie Bryson.
George Bryson choisit d'exploiter une ferme en bordure de la rivière Coulonge dans le but de complémenter ses activités forestières. Les produits de la ferme ont servis, dans un premier temps, à répondre aux besoins de sa famille puis, plus tard, ont été destinés à l'approvisionnement des chantiers de coupe de bois. C'est de ce quartier général que George Bryson, homme d’affaire visionnaire, a dominé l'activité économique de la région de Pontiac du XIXe siècle et orienté le développement économique du XXe siècle. La famille Bryson fut propriétaire de l'ensemble jusqu'en 1942. La maison a été habitée encore pendant de nombreuses années, notamment par la famille Dagenais.
Malheureusement, après sa revente, son état s’est peu à peu détérioré et elle a été délaissée par ses habitants. À la fin des années 1970, un groupe de passionnés du Pontiac ce sont mis à faire un inventaire des maisons historiques du Pontiac et ont constatés, avec tristesse, l’état d’abandon dans lequel se trouvait la maison de George Bryson. Philip Gabriel, membre de ce groupe et architecte de formation, a alors entrepris les démarches auprès de la municipalité pour que celle-ci s’en porte acquéreur. Une fois la transaction faite, une demande de classement comme monument historique a été envoyé au gouvernement de la province de Québec. Ce classement fut octroyé par le Ministère de la Culture en 1980. D’importants travaux ont alors été entrepris pour sauver la maison des intempéries et lui redonner son lustre d’antan. Jusqu’à la fin des années 1990 la maison a été occupée par le CLSC du Pontiac. Au tournant du millénaire, faute de place, le CLSC a déménagé. La municipalité installa alors sa bibliothèque municipale et céda le reste de l’espace à la corporation de la maison culturelle George Bryson qui y créa un musée.