Borchs Haandgjerningsskole huser museets tekstillaug, kontor og håndbogsbibliotek.
Huset er opført omkring 1670 og var oprindeligt en del af Søren Mays gård, hvor der i dag kun er forhus og baghus tilbage. Der er tale om en gulkalket bindingsværksbygning i to etager. 1. salen blev dog først tilføjet i 1800-tallet, og huset fremstår i dag som en selvstændig bygningsdel.
I 1844 overtog Holbæk Købstad Søren Mays gård og i den forbindelse blev bygningen "skilt" fra forhuset og indrettet som håndgerningsskole for borgerskabets piger. I 1891 bliver håndgerningsskolen imidlertid overtaget af friskolen, hvorefter bygningen anvendes til beboelse.
I en årrække var huset i kommunens eje, inden det i 1971 overgik til museet, som indtil 1998 havde administrationskontor her.
