Le château d'Island, autrefois appelé château des chaumes, a été construit par Guillaume de Ferrières, seigneur d'Island et de la Chaume, à partir de 1448. Son fils Jean vend, en 1460, des bois aux habitants de Pontaubert et affranchit ses gens d'Island du droit de main morte pour 500 livres et une redevance annuelle de 5 sous par feu. En 1510, son petit fils, Philippe de Ferrières, rend foi et hommage de son domaine à Phillippe de Chastellux, qui est le haut seigneur d'Island. En 1581, Etienne Filtzjean et son frère Georges, d'une famille notable de magistrats d'Avallon, achètent le château aux Ferrières. Ils rendent foi et hommage, en 1599, à Olivier, Sire de Chatellux. En 1617, Madeleine Fitzjean épouse François de Longueville (1611-1668), seigneur de Domecy. C'est la réunion des deux familles d'Island et de Domecy. Jacques, l'aîné hérite de la maison seigneuriale de Domecy; Philippe, le cadet, hérite de la terre et seigneurie d'Island avec le château des Chaumes. Le testament de Philippe de Longueville disposait de sa seigneurie d'Island en faveur de ses trois neveux, Etienne, François, et Pierre Thomas. Etienne Thomas rachète les parts de ses frères et devient en 1695, seigneur d'Island. A sa mort, en 1710, François, son frère et son neveu, fils de Pierre entrent, en possession du domaine. La seigneurie passe ensuite à Nicolas Thomas, fils de François. En 1759, son fils, nommé aussi François, occupe la terre d'Island et le château des Chaumes. Sa fille, Marie Pierrette Thomas, hérite du château. Elle se marie en 1788 à Jean de Contye, capitaine des dragons, puis en secondes noces à Aimé Renier de Fargis. Restée seule au temps de la terreur, elle contracte enfin mariage en 1798, avec son régisseur et fermier, Hilaire Dorneau, qui héritera du château à sa mort, au début du XIXè siècle. Il assure la maîtrise d'oeuvre du nouveau logis, (construit à la fin du XVIIIè siècle) qui se soude à l'extrémité sud du premier et s'allonge d'Est en Ouest. Une de ses descendantes, Mme Amelin , née Dorneau, femme de l'ancien sous préfet d'Avallon, lègue, en 1892, à la commune d'Island et à l'église, la somme de 140 000F. Le château reste dans la famille Amelin jusqu'en février 1977, date à laquelle, Marie et Philippe Claverie achètent le château et le restaurent pour en faire un lieu de vie privilégié et rempli d'histoire. Ce château d'Island, vieux de plus de 500 ans, n'a été vendu que 2 fois.