Bizans imparatorları şehre hakim yüksek ve sarp bir tepe üzerine şato yaptırarak buraları burçlarla tahkim etmişler ve şatoyu iki kat sur içerisine almışlardır. Kütahya Kalesi, mavi ve kırmızımsı bir yalçın kaya üzerinde beşgen şekilli, sağlam ve süslü bir yapıdadır. Bir tepe üzerinde yüzük gibi duran bir kaledir. Kalenin etrafı yaklaşık üç bin metredir. Dört tarafı yalçın kaya ile çevrilidir, etrafında hendeği yoktur fakat kale surlarının altı uçurumdur. Kalenin kuzey doğusunda Germiyan eseri olan Kale-i Bâlâ Camii, ve bir de çeşme bulunur. Kütahya Kalesi, Osmanlı hükümeti zamanında müstahfız tımar askeri muhafazasına ve dizdar denilen kale ağasının idaresine verilir, kale arazisi de topçu, lağımcı, cebeci askerlerinin ikametine tahsis edilirdi. Kalede 119 tımarlı müstahfiz askeri vardı. Kale muhafazası için bulunan bu askerlerin bir kısmı, savaşların uzaması sebebiyle askere çok fazla ihtiyaç duyulduğu zamanlarda sefere giderler, geri kalan kısmı da kale muhafazasına devam ederdi. Kale dizdarlığı genel olarak saray hizmetinde bulunmuş ve emekliliğini hak etmiş kişilere verilirdi. Kale dizdarı, müstahfiz tımardan başka ocaklık adıyla bazı araziye de sahipti. Bu arazi onların evlat ve torunlarına geçerdi. Dizdar, padişah fermanı ile tayin edilirdi.Dizdar, ocaklıktan başka Kütahya cizye mallarından da ayrıca yevmiye alırdı. Altıntaş nahiyesinin Karaağaç ve diğer köylerinden 7,600 akçelik tımar Kütahya kale dizdarlığına aitti. Kalede dizdardan başka kale kethüdası, topçu başı, cebeci başı, zindancı, ve kapıcı bulunurdu. IV. Mehmed zamanında başlayan ve 16 sene devam eden uzun savaşta askeri kaynakların tükenmesi bundan dolayı kale muhafazasında görev alan askerlerin de cepheye gönderilmesi lazım görülmüştür. Daha sonra bu uygulamadan vazgeçilerek yerine belirli bir ücret alımı uygulanmıştır. 1698 senesi başında Filibe Çölü'nden gelen hatt-ı hümâyunda her bir neferin kendi yerine bir levend göndermesi veya levend bedeli olarak otuz kuruş vermeleri emredilmiş, daha sonra bu tutar on kuruşa indirilmiştir.1804 senesindeki bir fermanla kale askerleri Nizam-ı Cedid teşkilatı Üsküdar Ocağı'na (Selimiye) bağlanmıştır.