Vize Küçük Ayasofya (Gazi Süleyman Paşa) Camii Kale Semti’nde iç ve dış surlar arasındadır. 6. asırda Jüstinyen döneminde kilise olarak yapılmış, 14.asrın ikinci yarısında cami olarak tertip etmiş olup hali hazırda cami olarak imana açıktır. Kareye yakın dikdörtgen tasarılıdır. Üç apsisi bulunmakta olup, kubbesi on altı köşeli tanbur üzerine oturtulmuştur. Yapı, kubbeyi tutan 1.30, 1.40 santimetre çapında ayaklar ve bunların yanında (arasında) bulunan sütunlarla üç bölüme ayrılmıştır. Mermer olan bu sütunların başlıkları korinth stildedir. Sütunlar gibi hali hazırda mevcut olmayan mozaikler, şekil bakımından Ayasofya ile St. İrene arasındaki kazıda bulunanlarla benzeşmektedir. Asıl binaya narteksten, tamamı ile Bizans stilindeki üç mermer söveli kapı ile girilmekteydi. Bir zamanlar kırık yazılar ve kadın heykellerinin bulunduğu bina, taş ve tuğladan yapılmıştır. Kubbe çapraz ve beşik tonozludur. Mihrap sonradan beton ilavedir. Minberi bulunmamaktadır. Binada tamamI İle kilise havası hakimdir. Yapı, çeşitli defalar farklıklara maruz kalmış, uzun bir müddet kaderine ayrılındıktan sonra, son olarak ehil olmayan kişiler tarafından gelişi güzel restore edilmeye çalışılmış, ancak bu da yarım bırakılmıştır. 1997 senesinde Kırklareli Müzesi ile T.Ü. Arkeoloji ve Sanat Tarihi Bölümü’nün ortak bir çalışması ile kısmi bakım ve temizliği yapılmış, 2007 senesinde Vakıflar Genel Müdürlüğü tarafından aslına uygun bir onarım geçirmiştir.