İmaret  Semti’nde,  kaplıcaların batısında bulunan imaret binası, 1429 seneninde II. Murat vaktinde Amasya Valisi Yörgüç Paşazade Mustafa Bey tarafından yaptırılmış. Uzun yıllar fukaralar, dervişler, askerler burada yemek yemişler, konuk olmuşlar. Sonraları imaret yıpranmış, kubbeleri yıkılan bina giderek perişan olmuş. 1938 seneninde restore ettirilen bina o haliyle günümüze kadar gelmiş. 1940 seneninden 1982 seneye kadar "Kaza Halk Kütüphanesi" olarak kullanılan bina, 2007 seneninde restore edilerek hali hazırda emeline uygun olarak kullanılmaktadır.