서학(西學)이란 조선 후기 중국으로부터 도입된 서양의 학술과 과학지식, 또는 그것을 연구하는 일련의 학술 경향을 뜻한다. 서양의 학술 지식과 함께 들어온 천주교의 교리까지도 포함하여 서학이라 지칭하기도 한다. 서양의 학술 지식은 조선 후기 사회에 많은 도움이 되었으나, 천주교의 교리는 조선 사회의 지도 이념을 위협하는 것이었기에 박해를 받을 수밖에 없었다.

조선의 지식인들은 중국이라는 창구를 통해 서학을 접할 수 있었다. 중국은 여러 경로를 통해 서양과의 문물 교류를 지속하여 왔지만, 서양의 과학지식이 중국에 본격적으로 유입되기 시작한 것은 16세기 말 천주교 예수회 선교사들에 의해서이다. 특히 예수회 선교사들은 중국 전통 문화에 대한 이해를 기반으로, 중국 전통 문화를 인정하는 가운데 천주교 교리를 제시하여 서양 문화에 대한 중국인들의 반발심을 없애는데 큰 성공을 거두었다.

예수회는 천주교가 유교를 보완하는 것이라는 ‘보유론(補儒論)’에 입각한 선교 정책을 폈고, 이는 중국의 유교지식인들로 하여금 서양 문물에 보다 개방적인 태도로 접근할 수 있도록 해주었다. 또한 이들 예수회 선교사들은 선교활동 초기부터 서양의 문물과 과학기술을 소개하였다. 특히 수학·천문학·역법(曆法) 등에서 서양 학술의 우월성을 인정한 중국 지식인들은 이를 적극적으로 받아들였다. 예수회 선교사들은 또한 천주교 교리와 서양 학술 지식을 한문(漢文)으로 번역하여 소개하는 데에도 큰 힘을 기울였다. 마테오 리치가 저술한 『천주실의(天主實義)』는 그 중 대표적인 한역서학서(漢譯西學書)로 조선에도 큰 영향을 미쳤다.

서학이 조선 사회로 전래되기 시작한 것은 17세기 초부터였다. 조선 지식인들은 북경으로의 사행길을 통해 중국의 문물을 접하고 수입하였는데, 그러한 과정에서 서학 또한 조선 지식인들에게 알려지기 시작한 것이다. 병자호란(丙子胡亂)의 결과 청에서 볼모살이를 했던 소현세자(昭顯世子)가 당시 청 정부에서 중요한 역할을 하던 아담 샬과 긴밀한 관계를 유지하였고, 또한 1644년(인조 22) 귀국할 당시 자명종과 한역서학서 등을 가져왔다고 알려져 있다. 그러나 이 특수한 사례를 제외하고는 서학 도입에 큰 역할을 한 것은 조선의 사행단이었다. 대표적으로 1631년(인조 9) 정두원(鄭斗源)은 진주사(陳奏使)로 명에 다녀오면서 로드리게스 신부에게 천리경, 서포(西砲), 자명종 등을 얻어 온 바 있다.

특히 북경으로의 사행단이 주목하였던 것은 서양의 천문학과 역법이었다. 천문을 관찰하여 절기를 파악하고 백성들에게 시간을 반포하는 것, 즉 관상수시(觀象授時)는 농경을 중심으로 하는 동아시아 사회에서 대대로 제왕의 책무에 속하였다. 조선 초기에는 수시력(授時曆)과 대통력(大統曆)을 개량한 칠정산(七政算)이란 역법을 개발하여 사용하였으나, 후기로 가면서 점차 실제 시간과 어긋나는 일이 잦아져 새로운 역법을 제정할 필요성이 높아졌다. 여기에서 주목된 것이 바로 청에서도 받아들인 서양의 천문 역법이었다.

김육(金堉)은 1644년(인조 22) 관상감 제조로 있으면서 북경에 사절단으로 다녀오면서 당시 서양 역법을 응용하여 만든 시헌력(時憲曆)의 우수성을 확인하여, 관련 서적을 적극적으로 입수하여 결국 시헌력을 조선에서 시행할 수 있도록 하였다. 천문 역법에 대한 관심은 지속적으로 유지되어 1702년(숙종 46) 이이명(李頤命)은 북경 흠천감을 직접 찾아가 쾨글러, 사우레즈 등에게서 천문 역법을 배워오기도 하였다. 이러한 노력을 통해 조선 지식인들은 티코 브라헤의 천동설을 중심으로 하는 당시의 서양 천문학을 체계적으로 이해할 수 있었고, 역학(易學)이라는 자신들의 독자적인 세계관과 접목시키기도 하였다. 이와 달리, 정조(正祖) 대의 역법 전문가인 서호수(徐浩修)와 같이 역학(易學)과의 관련성을 배제하고 서양 천문학 자체에 대한 이해를 최고 수준까지 끌어올린 경우도 있었다. 양쪽 모두 서양 천문학 체계에 대한 깊은 이해가 없었다면 있을 수 없었던 것으로, 서양 천문학이 조선 지식인 사회에 일으킨 큰 반향을 증명해주는 사례이다.

서양으로부터 들어온 세계지도 또한 큰 반향을 불러일으켰다. 마테오 리치가 간행한 세계지도인 산해여지전도(山海輿地全圖)와 곤여만국전도(坤與萬國全圖)가 대표적으로, 이는 동아시아 중국 중심의 중화주의 세계관에 충격을 주었다. 1603년(선조 36) 이광정(李光庭)이 곤여만국전도를 구입하여 조선으로 가져왔는데, 서양식 세계지도 특유의 정밀함에 조선 지식인들은 놀라지 않을 수 없었다. 이수광(李睟光)은 그의 저서 『지봉유설(芝峯類說)』에서 서양식 세계지도가 극히 정밀하다고 논평한 바 있다. 그러나 그보다 더 충격적이었던 것은 중국이 지도의 중심에 있지 않다는 것이었다. 조선 지식인들은 중화주의 세계관을 발전시켜 왔기 때문에, 중국이 지도의 중심에 있지 않다는 점은 바로 이 세계관이 부정당하는 것이었다. 따라서 최석정(崔錫鼎)과 같은 이는 중국이 북쪽에 위치하고 있다는 점은 근거 없는 것이라 비판하기도 했다.

예수회 선교사들의 기본 목적은 천주교를 전도하는 데에 있었다. 서양의 학술 지식은 천주교 전도의 한 방편에 불과했다. 때문에 그들에게서 배운 서학에는 천주교의 교리가 포함되어 있을 수밖에 없었다. 하지만 아무리 보유론을 통해 유학과 상충되는 것이 아니라는 논리를 내세웠더라도, 천주(天主)라는 신을 절대자로 모시는 천주교의 교리는 결국 중국의 황제인 천자(天子)를 절대자로 파악하는 전통적인 유교 사상과 충돌할 수밖에 없었다.

특히 예수회의 현지 적응주의 선교 정책이 폐기되면서 서학과 유학의 대립이 불가피해졌다. 동양의 전통적인 제사 의례에 대해서 예수회는 허용하는 입장이었으나, 예수회와 경쟁관계에 있었던 여러 수도회에서 문제를 제기하였고, 결국 교황청의 교황 클레멘트 11세가 1715년(숙종 41) 제사금지령을 내리게 되었다. 이에 1720년(숙종 46) 강희제(康熙帝)는 천주교를 배척하는 고유(告諭)를 반포하고 선교사들을 추방하였다. 1775년(영조 51) 결국 예수회는 해산되었으나, 천주교 교리는 학술 지식과 함께 중국과 조선의 많은 지식인들에게 퍼져나갔다.

천주교에 대한 조선 지식인들의 다양한 반응은 성호 이익(星湖 李瀷)과 그 문인들의 경우를 통해 잘 살펴볼 수 있다. 이익은 서학에 큰 관심을 가져 한역서학서를 다수 읽고 평을 가하였다. 그는 여타 조선 지식인들과 같이 서학의 천문과 역산(曆算)의 지식을 높게 평가하며 적극적으로 수용하였으나, 천주교에 대해서는 철저하게 보유론적인 관점에서만 수용하였다. 유학의 전통적인 상제사상(上帝思想)과 천주교의 교리를 연결시켜 이해한 것이 그 중 하나의 예이다. 그러나 이익은 천주교의 천당지옥설에 대해서 허황된 것으로 규정하는 등, 천주교 교리 중 전통적인 유학 사상과 배치되는 것에 있어서는 비판적으로 인식하였다.

이익의 문인들 또한 이익과 마찬가지로 서학에 큰 관심을 가지고 연구하였다. 대표적인 제자 안정복(安鼎福)은 이익과 마찬가지로 천주교의 교리에 대해서는 비판적으로 바라보았다. 안정복에게 천주학은 곧 이단(異端)의 학문이었고, 천주교가 장차 조선 사회에 무서운 해악을 가져올 것이라 생각하였다. 따라서 그는 『천학고(天學考)』, 『천학문답(天學問答)』 등의 글을 지어 천주교 교리가 가진 위험성을 경계하고자 하였다. 신후담(愼後聃) 또한 안정복과 마찬가지로 유학 전통의 입장에서 천주교의 교리를 비판적으로 바라본 이익의 제자이다. 신후담은 『서학변(西學辯)』이란 글을 통해 천지창조설, 영혼의 불멸성 등 천주교의 핵심 교리들을 비판하였다. 안정복과 신후담 등 천주교를 비판한 학자들은 천주교의 교리가 정학(正學)인 유학의 가치를 훼손할 것을 우려하여, 천주교를 이단(異端)이나 사학(邪學)으로 규정한 것이 특징이다.

그러나 성호 문인 중에서는 서양의 학술 지식을 넘어 천주교의 교리까지도 받아들인 학자들이 나타났다. 이벽(李蘗), 권철신(權哲身) 등이 대표적인 인물이다. 이들의 특이한 점은 학문적인 연구를 통해 선교사의 선교 없이 자발적으로 천주교의 교리를 받아들이는 데까지 나아갔다는 점이다. 이벽은 한역서학서에 대한 강학회 활동을 통해 동료들과 함께 천주교의 교리를 익혔고, 이승훈(李承薰)이 북경에 가게 되자 그를 설득하여 세례를 받아오도록 하였다. 이승훈은 이벽에게, 이벽은 권철신에게 세례를 주면서, 비밀리에 신앙 활동을 지속하였다.

서학과 천주교에 대해서 비교적 온건하게 대처했던 정조가 승하하자, 왕위에 오른 순조(純祖)를 대신하여 수렴청정(垂簾聽政)을 시작한 정순왕후(貞純王后)는 사교(邪敎)와 사학(邪學)을 엄금하라는 명을 내렸다. 이에 시작된 것이 1801년(순조 1)의 신유박해(辛酉迫害)이다. 이로 인해 이벽, 권철신, 이승훈 등 천주교 신자들이 목숨을 잃었고, 정약용(丁若鏞) 등 천주교에 관련되었던 인물들도 유배를 가는 등 피해를 입었다. 목숨을 잃은 사람 중에는 선교를 위해 조선에 몰래 숨어들어 온 중국인 신부 주문모(周文謨)도 포함되어 있었다.

신유박해에 대해서 집권세력인 노론 벽파가 반대세력인 남인을 일망타진하기 위해 일으킨 것이라 보는 견해도 있다. 그러나 당시 천주교는 조선 사회의 전통과 운영 원리를 훼손하는 교리를 가지고 있었기 때문에, 천주교 교리가 지배 계층 사이에 점차 퍼져나가던 상황은 조선 정부에서 묵인할 수 있는 일은 아니었다. 이미 정조 대에도 윤지충(尹持忠)이 천주교의 교리에 따라 모친의 위패를 불태운 사건으로 천주교도에 대한 처벌을 진행하였던 사례가 있었다. 또한 비록 가혹한 박해로 인해 극단적으로 표출될 수밖에 없던 것이기는 하지만, 신유박해 이후 이어진 황사영(黃嗣永)의 백서(帛書) 사건은 조선 사회와 천주교가 공존할 수 없었다는 사실을 명확하게 보여주었다.

황사영 백서 사건이란 황사영이 중국 북경의 구베아 주교에게 밀서를 보내 신유박해의 전말을 고하고, 주교의 힘을 빌려 신앙의 자유를 획득하고자 기도한 사건이다. 신유박해를 피해 충청도 제천의 배론에 토굴을 파고 숨어 있던 황사영은 지인 옥천희에게 편지를 써주고 동지사(冬至使) 일행으로 위장하여 구베아 주교에게 전달하도록 하였다. 그러나 옥천희가 잡히면서 황사영 또한 체포되었고 편지의 내용도 발각되고 말았다. 그런데 편지에는 청으로 하여금 조선을 복속하게 한다든지, 또는 서양의 군함과 군대를 조선에 파견하여 신앙의 자유를 얻을 수 있게 해달라는 내용이 포함되어 있었다. 이 사건을 통해 천주교도의 국가 전복 기도 사실을 확인한 조선 정부는 당연히 천주교에 대한 박해를 지속하게 되었다.

그러나 천주교와 서구의 학문 지식이 함께 유입되어 서학이라 통칭되고 있던 당시 상황에서, 천주교에 대한 박해는 서양 학문 지식에 대한 탐구열의 위축을 가져올 수밖에 없었다. 비록 이미 많은 서양의 학문 지식이 조선 지식인들 사이에서 유통되며 발전하고 있긴 하였으나, 프랑스 함대가 출현하는 등 제국주의 열강의 조선 침탈이 가시화되는 상황에서 조선은 점차 쇄국양이(鎖國攘夷)의 길을 걷게 되었다.