Kemal Paşa Mahallesinde binalar arasında kaybolmuş olan kilise içindeki su kutsal kabul edildiğinden Ayazma yâda Faneromeni diye adlandırılmaktadır. Adının karşılığı “kutsal su” anlamına gelmektedir.

   Kilisenin girişindeki alınlıkta 1890 yazmaktadır. Ayvalık’ın geç dönem yapısıdır. Kilise bu tarihte yapılmıştır. Düz bir zemin üzerinde yer alan kilise ızgara planlı doku özelliği taşımaktadır. Kilisenin toplam arsa alanı 200 m², inşa alanı ise 150 m² dir. Kilisenin dıştan boyu 17.40 m. eni ise 8.60 m’dir. Kilisenin yüksekliği ise 12 m. dir.

 Diğer kiliselerden farklı olarak dini kaygılar göz önüne alınmadan kuzeydoğu– Güneybatı yönünde inşa edilmiştir. Ayrıca kilisenin apsisi bulunmamaktadır.

   Güneydoğu ve kuzeybatı cephelerinde dörder penceresi bulunan kilisenin kuzeybatı cephesinde yer alan kapısı sonradan kapatılmış, güneydoğu cephesinde yer alan kapı ise kapatılarak pencere haline getirilmiştir. Kuzeydoğu duvarına ise sonradan iki kapı eklenmiştir.
Naosta ikonostasis bulunmamaktadır. Zaman içerisinde değişik amaçlarla kullanılan kiliseye asma kat niteliğinde bir kat eklenmiştir. Naosta taşıyıcı sütunlar kullanılmamış olup tek açık olarak geçilip beşik çatı ile örtülmüştür. Kare şeklinde bölümlere ayrılmış olan

çatıda her bölümün ortasında alçıdan yapılmış çiçek kabartması yerleştirilmiştir. 
    Basamaklarla çıkılan narteksin üzeri düz olarak kapatılmış olup, alçıdan yapılmış çiçek kabartmalarına bu kısımda da rastlanmaktadır. Bu kısımda ayrıca dört taşıyıcı sütun yer almaktadır.

 Naos bölümüne giriş güneybatı cephesinden tek kapıyla sağlanmaktadır. Kilisenin girişi en çok dikkat çeken bölümdür. Girişte yer alan dört adet sütunun başlıkları Korint tipi yapılmıştır. Başlıkların üstü ise arşitravla kapatılmıştır. Üstte ise üçgen alınlık yer almaktadır. Giriş yunan tapınaklarını hatırlatır. Neo-klasik üslüpta yapılmış geç tarihli bir yapıdır
   Yapı malzemesi olarak Sarımsak taşı kullanılmış olan kilise bir dönem zeytinyağı fabrikası olarak kullanıldığından farklı eklentiler 

yapılmış olup iç kısımlarda anıtsal özelliklerini tamamen yitirmiştir. Kilise günümüzde müze haline getirilmek için kamulaştırılmış olup Bursa Anıtlar Yüksek Kurulundan gerekli izinler alınmıştır.

Kilisede kutsal su bulunduğu söylenmektedir. Kilisenin yapımına ilişkin anlatılan rivayet hala dillerdedir; Küçük bir kız çocuğu her gece rüyasında Meryem anayı görür. Meryem ana sürekli aynı yerde durup burada kaynaktan fışkıran kaynaktan su içer ve küçük kız çocuğuna da bu suyu işaret eder. Rüya sürekli tekrarlayınca bunun bir haber olacağı düşünülerek kent meclisine anlatılır.

Toplanan din adamları kızın tarif ettiği yere gelir ve kazı yaparlar, bir süre sonra kızın rüyasında gördüğü gibi topraktan su fışkırır. Daha sonra buraya bir kilise yapılır ve su korumaya alınır.