В началото на своето съществуване църквата била малък параклис построен от учениците на Св. Йоан. По-късно параклиса придобива значението на център на христианското поклоничество.
През V в. Теодосии II разпорежда да се издигне църква с формата на кръста, а един век по-късно тя е преустроена и разширена.
През Средновековието хората започват да вярват, че могилата на Св. Йоан има чудодейна сила и затова на това място са прииждали много болни и сакати хора.