Het huwelijk in 1444 van Wolfert VI van Borsele met Mary Stewart (later Stuart), de dochter van de Schotse koning James I, heeft er toe bijgedragen om het handelsverkeer met Schotland te laten groeien. Veere werd de doorvoerhaven voor Schotse wol in de Lage Landen.
In de zestiende eeuw deden soms wel 50 tot 60 schepen per dag de stad aan. Maximiliaan van Bourgondië (Heer van Veere) wist de goede betrekkingen met de Schotten in 1541 in een stapelcontract te bevestigen. Dit hield in dat alle goederen uit Schotland en bestemd voor de Nederlanden eerst naar Veere moesten worden gebracht en van daaruit pas verder mochten worden verhandeld. De Schotse wol was één van de belangrijkste producten voor de Nederlanden terwijl er veel meekrap naar Schotland werd verscheept. In zijn giftbrief van 7 december 1541 verklaart Maximiliaan '(...)premiers avons accordé (…)de la nation une maison dedans notre ville de la Vere telle que sera trouvé la plus commodieuse (...)' (eerstgenoemde heeft er in toegestemd dat de stad Veere een huis dat het meest gerieflijk wordt bevonden aan de Schotse natie ter beschikking stelt).
Voor 1613 kwam de Schotse Natie bijeen in het huis De Swane aan de Markt. De belofte om op stadskosten een huis te verschaffen werd pas in 1613 ingelost toen in de Wijngaardstraat een huis werd verbouwd en ingericht om te dienen tot conchiergerie voor de Schotse Natie. Dit was dan een soort herberglogement waar Schotse kooplieden en zeelieden konden eten en logeren zonder accijns op bier en wijn te betalen. Voor deze conchiergerie waren 22 regels opgesteld o.a. over het eten en dat de tafels 2 maal per week een schoon tafellaken moesten krijgen. Een koopman die alleen in een bed sliep moest 2 stuivers betalen maar 2 kooplieden in één bed moesten ieder 1 stuiver betalen. Lakens en slopen moesten eens in de 14 dagen worden verschoond.
In 1764 was het gebouw aan de Wijngaardstraat vervallen en onbewoonbaar geworden. De magistraat besloot om het huis 'De Struijs' aan de Kaai, eigendom van de stad en tot kort voordien gebruikt als Franse kostschool, geschikt te maken voor de conchiergerie voor de Schotten. Die brachten wol, schaapsvellen, gezouten koehuiden, zalm en vlees naar Veere. Zij namen Zeeuwse producten zoals laken, fruit en groente mee terug naar Schotland. Veel Schotten waren woonachtig in Veere, o.a. in het huis 'Het Lammeken', en genoten hier speciale privileges. Een eigen rechtspraak, eigen kerk, eigen herberglogement en het niet hoeven betalen van accijns behoorde tot de voorrechten. Dit alles bezorgde Veere lange tijd grote welvaart.
Bij decreet van het Uitvoerend Bewind der Bataafse Republiek van 10 oktober 1799 werd het stapelcontract vernietigd en kreeg de stad de vrije beschikking over 'De Struijs' en sedert die tijd werd het gebouw veelal aan particulieren verhuurd. Ook heden ten dage zijn er nog banden met Schotland zoals o.a. via de Stichting Veere-Schotland. Tevens is er een officieel geregistreerde Veere District Tartan. Kledingaccessoires gemaakt van deze Schotse ruit alsmede Schotse sieraden zijn te koop in de museum winkel.