De naam verwijst naar de wolhandel. Het 16de eeuwse huis 'De Struijs' (Kaai 27) heeft een 15de eeuwse voorganger gehad. Op de gevelsteen, waaraan het huis zijn naam ontleent, staat echter vermoedelijk een dodo en geen struisvogel. Het complex is van grote betekenis voor de geschiedenis van de monumentenzorg in Nederland. Het rijkseigendom van de 'Schotse Huizen' begon met de schenking van 'Het Lammeken' door jonkheer mr. Victor E.L. de Stuers (1843-1916), bijgenaamd de ‘bouwjonker’. Deze passeerde op het moment dat men juist met de sloop van het pand was begonnen. Op staande voet kocht hij het huis voor ƒ800,- en wist hiermee de verdere sloop te voorkomen. In 1906 schonk hij het pand aan het Rijk waar het cadeau met gemengde gevoelens werd ontvangen.
'De Struijs' werd in 1896 door de Engelse diamantair en kunst verzamelaar Albert Lionel Ochs (1857 – 1921) gekocht en nagelaten aan zijn dochter Alma (1889 – 1987). Vader en dochter brachten hun vakanties door in Veere, ontvingen veel kunstenaars in hun woning en organiseerden exposities. Beiden verzamelden antiek terwijl Alma ook Zeeuwse klederdrachten verzamelde. Alma schonk het pand, inclusief haar verzameling, in 1947 aan de Staat der Nederlanden op voorwaarde dat het een museum zou worden en dat de traditie van exposities zou worden voortgezet.
Sedert 1950 is er het Museum De 'Schotse Huizen' gevestigd waarin een impressie wordt gegeven van het leven van welgestelde Veerenaren in het verleden. Daarnaast worden er regelmatig speciale exposities gehouden over de internationale, maar haast vergeten Veerse kunstenaarskolonie, die met name in de eerste helft van de twintigste eeuw tot grote bloei kwam.
In de kelder en op het terras achter de beide huizen is het restaurant 'In den Struijskelder' gevestigd.
