제네바의 종교개혁은 빌헬름 파렐에 의하여 시작되었다. 파리에서 대학을 마쳤던 파렐은 1533년 제네바에 도착하였고, 1534년 1월 개혁사상에 반대 입장이었던 시의회와 신앙대화를 통하여 개혁을 설득함으로 제네바 의회는 1535년 8월에 개혁을 받아들였다. 그리고 1536년 칼비누스의 가세는 효과적인 개혁을 이룰 수 있었으나 1538년 엄격한 교회의 규율과 삶의 질서를 강요함으로서 일시적으로 그의 제네바 종교개혁은 중단할 수밖에 없었다.
칼비누스가 스트라스부르에서 사역하는 동안, 1538년 지방행정장관과 파렐과 칼비누스를 추방시키는 책임을 맡았던 자들이 사기행위와 범죄행위들로 고소를 당해 제네바를 떠나 도피하면서 제네바의 사람들은 칼비누스가 제네바로 돌아오도록 부단히 노력하였다. 제네바로 돌아오는 절차를 밟는 동안 일시적으로 로잔교회의 비레목사가 제네바교회를 돌보았고, 스트라스부르 당국자들은 칼비누스가 스트라스부르의 시민으로 남아있는 조건으로 제네바로 가는 것을 동의 했다. 제네바로부터 칼비누스와 함께 추방되었던 파렐은 너위카텔에서 죽을 때(1565)까지 활동하였다.
칼비누스는 1541년 9월 13일 제네바에서 전에 맡았었던 직무를 다시 맡게 되었다. 칼비누스는 제네바로 가는 조건으로 하나의 그리스도교 가르침이 있는 “장로치리회(법적인 장로들의 협의회) 설치”(6명의 시의원들, 칼비누스, 4명의 제네바 목사들)로 “역동적인 교회훈련체계 설립(교회훈육)”을 제시하였다.
그의 요구는 받아들여졌다. 행정관리들의 협조에 따라 그는 즉시 교회 훈련과 모범 규례를 만들어 시의회에 제출하였고, 1542년 1월 2일 영원히 채택하기로 결의하였다. 교회법은 1547년에 증보되었고, 1561년에 상당부분 수정되었다. 또한 1541년 11월 21일에 제정을 시작한 시민법은 1544년 초에 채택되었다. 좀 더 귀족정치로 발전되었고, 4명의 장관이 있었다. 시의회 25명의 소위원회는 일주일에 3회 모였으며, 보다 큰 위원회는 60인 의회, 200인 의회가 있었다. 제네바의 시민은 제네바에서 태어나 제네바에서 세례를 받은 자이어야 했다. 그 외에 등록된 외국인으로써 “체류민”이 있었고, 1559년 시민권이 주어질 때까지 칼비누스 자신도 여기에 속했다. 출교권에 대한 교회와 시의회 사이의 반목은 베른, 쮜리히, 바젤, 샤펜하우젠의 자문을 얻었고, 최종결의는 교회법에 따라야 했다.
칼비누스는 1차 제네바 체류 때에 제정하였던 “대요리문답”을 정리하였고, 이번에는 아이들이 이해할 수 있도록 문답형식으로 나열했다.(소요리문답) 이런 교리문답은 좋은 반응을 보여 프랑스어로 쓰인 원본을 칼비누스 자신이 라틴어로 번역하였다. 이것을 헨리쿠스 스테파누스는 그리스어로, 유대인이며 하이델베르크 대학에서 교수하고 있던 임마누엘 트레메리우스는 히브리어로 번역하였다. 그 이 후에 이탈리아어, 독일어, 영어, 스페인어 등의 언어로 번역되었다. 칼비누스는 이틀에 하루는 설교하고, 1주간에 3회씩 신학을 강의하고, 훈련과 관련된 문제를 심의하기 위해 장로법정에 배석하였다. 매주 금요일에는 말씀의 토론을 위해 모인 모임 ‘회중(회합)’을 위해 성경공부를 주관하였다.
1543년 칼비누스는 교황의 심복 중 하나인 알베르투스 피기우스의 글에 반박하는 글을 써서 멜란히톤에게 헌정하였다. 칼비누스는 피기우스의 글 ‘의지의 자유로운 결정’에 대한 답변으로 ‘변증서’를 썼다. 칼비누스는 1544년에는 ‘교회의 개혁을 위한 필요성에 대하여’, 1546년에는 ‘고린도전후서의 주석서’를 시작으로 1553년에 ‘요한복음 주석서’ 그리고 계속하여 요한계시록을 제외한 성경의 모든 책들의 주석서들을 우리들에게 제공하였다.
1553년 금요일에 갖는 회중들의 성경공부시간에 공관복음을 강해하기 시작할 때쯤에 미카엘 세르베투스가 등장한다. 그는 유아세례에 대해 비방하였고, 삼위일체 신앙에서 성자의 영원성을 부정하였다. 그는 하나님을 모독한 혐의로 8월 13일 체포되어 칼비누스와 논쟁을 가졌고, 회개할 줄 모르는 그의 태도로 제네바에서 10월 27일 화형에 처해졌다. 1554-1560에 그는 루터교도들과 성만찬 논쟁을 가졌으며, 1559년에는 개혁교회의 정신적인 중심인 제네바 아카데미를 설립하여 그의 종교개혁의 후계자 테오도르 베자에게 책임을 맡겼다.
1564년 2월 28일 제네바 인근의 모든 목사들이 칼비누스의 요구로 소집되었다. 자신의 사후에도 그들이 임무를 충실히 수행할 것을 부탁하였다. 칼비누스는 임종을 앞둔 투병 중에서도 시39:9 “내가 잠잠하고 입을 열지 아니함은 주께서 이를 행하신 까닭이니이다!”라는 말씀을 외웠다. 칼비누스가 5월 27일에 세상을 떠난 후 그의 부탁대로 주일 다음날 화려한 행렬이나 의식을 갖지 않고 통상적인 방법으로 제네바 쁘랭빠레 공동묘지에 안장되었다. 오래도록 그의 무덤은 묘비도 없이 내려오다가 최근에 표지판을 세웠다.
