Gazi Süleyman Paşa’nın Orhan Gazi döneminde yaptırmış olduğu camisinin yanında türbesi de bulunmaktadır. Gazi Süleyman Paşa Gelibolu’yu fetheden kumandanlardandır. Bolayır ile Kavak arasındaki köylerde bir av sırasında atından düşerek ölmüştür. Bundan sonra 1354 yılında Bolayır’a gömülmüştür.

Kare planlı, oldukça yüksek görünümlü, kalın duvarlı olan türbenin üzeri sekiz köşeli kasnak üzerine oturan bir kubbe ile örtülüdür. Kasnak üzerinde dört pencere bulunmaktadır. Türbeye doğu ve batısındaki birer kapı ile girilmektedir. Bu kapıların dışında kalan cephelerde iki penceresi vardır. Türbenin ortasında bulunan Gazi Süleyman Paşa’nın mezarı, yüksek bir kaide üzerinde mermer bir sanduka şeklindedir.

Gazi Süleyman Paşa’nın ölümünden sonra 1549’da bu türbe onarılmış, daha sonra da Sultan II.Abdülhamit tarafından yeniden yaptırılmıştır.