1. Seminario Menor: Desde un comienzo fue la preocupación de Monseñor Federico Kaiser llegar a tener más sacerdotes para atender a los feligreses dispersos en tantos rincones de este vasto territorio. Para fomentar vocaciones, hizo construir un PreSeminario en Caravelí lo que es ahora el Seminario Menor San Pío X, de Caravelí. Comenzó sus labores como Rector el que fue Obispo Auxiliar de Lima Monseñor Germán Schmitz MSC.
2. Congregación MJVV: En vista que el camino de un joven hasta el sacerdocio es largo, el Prelado buscó una solución más inmediata y tenía el valor de pensar en una Congregación nueva de Religiosas para trabajar en la pastoral, con preferencia en lugares donde la feligresía hasta el momento se quedó más abandonada. Así llegó a fundar a las Madres Misioneras de Jesús Verbo y Víctima (MJVV). Siempre con el afán de atender mejor a los numerosos y dispersos pueblos, consiguió un equipo de tres sacerdotes de la diócesis de Vancouver (Canadá), y cuando al cabo de tres años se terminó su presencia en Lampa, había otro grupo de tres sacerdotes de la diócesis de Osnabrück (Alemania). Además vino un Padre canadiense MSC para trabajar en Atico, quien lamentablemente tenía que regresarse después de un año por enfermedad de sus ojos.
