Doi frați, Ioan și Alexis, au înființat Mănăstirea Pantocrator în numele lui Hristos Pantocrator în 1363, așa cum este indicat în inscripția de pe scări în clopotniță. Manastirea este construita pe un deal stâncos, la mică distanță de mare, aproape de Mănăstirea Stavronikita.
Între sfârșitul secolului al XIV-lea și începutul secolului al XV-lea, la mănăstirea Pantocrator au fost atașate câteva mănăstiri mici. Una dintre ele a fost mănăstirea Ravdouxos, care în zilele noastre este o celulă a mănăstirii Koutloumousiou. În templul celulei se găsesc fresce din secolul al XII-lea și picturile a zecea. Mănăstirea găzduia o bibliotecă și o bogată colecție de poze sfinte. Această colecție este una dintre cele mai importante pe care le puteți vedea la Muntele Athos (imagini sfinte ale "Christos Pantokratoras" (14) și "Graptos Stayros" (14).
Manastirea este sarbatorita la schimbarea la față.