C’est en 1826, lors de la seconde expédition de Franckin que l’île a été vue pour la première fois.
En 1839, P.W. Dease et Thomas Simpson nomment l’île “Queen of England”.
Plus tard, le nom de Prince Albert est donné au Nord-Ouest de l’île.
Le nom de Holman vient de J.R. Holman, un membre de l’expédition Inglefield de 1853-54.
La compagnie de la baie d’Hudson explore le rivage dès les années 1850.
Vilhjalmur Stefansson et les expéditions Arctiques Canadiennes explorent l’intérieur des terres en 1915 et 1917.
Dans les années 1920, la compagnie de la Baie d’Hudson établit un comptoir dans la baie King pas très loin de la ville actuelle. Le comptoir de la baie Walker ferma dans les années 1930.
Pendant les premières années, seules quelques familles étaient sédentaires. Les autres familles continuaient leur vie nomade à chasser (phoques…) et pêcher.
Petit à petit, les gens se sédentarisèrent et en 1966 la communauté se déplaça de la baie de King pour la baie de Queen, l’emplacement actuel de Holman.
La peinture fut apprise aux habitants par le prêtre Hendi Tardi, un missionnaire arrivé en 1939.
En 1961, la Coopérative Eskimo d’Holman fut fondée sous la directive du père Tardi afin de produire des peintures, des sculptures et la fabrication de produits à partir de peaux de phoque.
Dès 1965, la coopérative obtient une réputation internationale.
Au cours des 30 dernières années, la communauté a beaucoup changé et perdu de son éloignement pour se rapprocher de la  civilisation occidentale avec télévision, radio, téléphone, fax, Internet...