조선 후기 불교학에서 가장 특기할 만한 것은 三種禪에 관한 논쟁이었다.

　후기의 선풍을 주도한 서산은 선교회통관을 표명하면서 동시에 捨敎入禪적인 조사선풍을 제시하였는데 이는 그의 제자들에게도 그대로 계승되었다. 송운이나 소요 등이 ‘庭前栢樹子’라든가 ‘狗子無佛性’·‘喫茶去’ 등의 화두를 참구하거나 후학들을 지도하며 棒喝과 같은 임제가풍을 드러내고 있는 것이 이를 말해준다. 서산이 이미≪禪家龜鑑≫에서 五家를 소개하면서 따로 임제종지를 三句·三要·三玄 이하 각 사항에 대해 상세히 설명하여 임제 위주의 선풍을 표명하였으니, 특히 이들 임제종지가 임제종에만 특별한 것이 아니라 여러 부처로부터 중생에 이르기까지 해당되는 것으로서 이를 떠나서 법을 설하면 모두 망발이라고 언명하였다.²⁶³⁾休靜,≪禪家龜鑑≫, 別明臨濟宗旨(≪韓國佛敎全書≫7, 645쪽 중·하). 서산의 4대손인 喚惺志安(1664∼1728)은≪禪門五宗綱要≫를 지어≪선가귀감≫에서 말하고 있는 임제의 삼구와 삼현 이하 八棒에 이르는 내용을 설명하고, 임제종지가 불법 모두를 포용할 수 있다는 서산의 임제우위설을 표현 그대로 부연하였다.²⁶⁴⁾志安,≪禪門五宗綱要≫(≪韓國佛敎全書≫9, 461쪽 하). 특히 환성은 첫머리에 임제록의 삼구에 관한 두 부분을 연계시켜 이룬 삼구를 수록하였다.

　환성의 5대손인 白坡亘璇(1767∼1852)은 이러한 서산과 환성으로 이어지는 임제우위 사상을 계승하여≪禪文手鏡≫을 저술하였다. 백파는 여기에서 임제삼구는 선과 교의 모든 교리를 모두 포섭하지 않음이 없는 것이라고 언명하고, 이에 대한 근거로서 환성의 견해를 인용한 후 삼세 제불과 역대 조사 그리고 천하의 선지식들이 남긴 모든 言句가 이 삼구를 떠날 수 없다고 하였다.²⁶⁵⁾亘璇,≪禪文手鏡≫, 臨濟三句圖說(≪韓國佛敎全書≫10, 514쪽 하∼515쪽 상). 이후 전개되는 선에 대한 논쟁의 기본명제는 먼저 이 임제삼구에서 출발한다.

　임제삼구란 臨濟義玄의 설법 중에 따로따로 나오는 흔히 ‘삼구·삼현·삼요’로 이름 붙여진 내용과「삼구」로 알려진 내용을 환성이 한데 합쳐서 구성한 것이 이후 전승된 것이다. 삼구의 내용은 제1구는 “三要의 도장을 찍으니 붉은 점이 뚜렷하고, 생각할 겨를 없이 주객이 분별된다”는 것이고, 제2구는 “현묘한 지혜가 어찌 무착의 물음을 용납하며, 방편이 어찌 일체를 끊는 근기를 저버리겠는가”이며, 제3구는 “무대에 꼭두각시 놀리는 것을 보라. 밀고 당김이 모두 속에 든 사람의 짓이다”이다.²⁶⁶⁾臨濟義玄,≪鎭州臨濟慧照禪師語錄≫, 上堂(≪大正新修大藏經≫47, 497쪽 상)의 원문은 다음과 같다.
上堂 僧問 如何是第一句. 師云 三要印開朱點側〔窄〕, 未容擬議主賓分.
問 如何是第二句. 師云 妙解〔妙喜〕豈容無着問, 漚和爭負截流機.
問 如何是第三句. 師云 看取棚頭弄傀儡, 抽牽都來〔全借〕裏有〔頭〕人.
師又云 一句語 須具三玄門, 一玄門 須具三要, 有權有用, 汝等諸人, 作麽生會. 下座.
(〔 〕표시의 글자는 喚惺志安과 白坡가 사용한 글자로, 이와 같은 중국의 異本도 있다).

　제1구는 언어 이전의 진실을 의미하는 것으로 一念開悟하여 眞佛이 구현되는 절대의 깨달음을 상징하는 것이다. 제2구는 진불출현의 절대를 구체적으로 설한 것이고, 제3구는 둔근의 제자에게 스승이 방편을 강설한 것이다.

　이러한 삼구를 어느 단계에서 깨닫는가에 초점을 맞추어 전개시킨 것이 “만일 제1구에서 깨달으면 조사와 부처의 스승이 되고, 제2구에서 깨달으면 인천의 스승이 되고, 제3구에서 깨달으면 스스로도 구제하지 못하리라”²⁶⁷⁾臨濟義玄,≪鎭州臨濟慧照禪師語錄≫, 示衆(≪大正新修大藏經≫47, 502쪽 상).는 것이다.

　이러한 삼구의 내용에 대해서 서산은 일찍이 三處傳心이 제1구요, 화엄의 三轉방편이 제2구이며, 부처 일대의 설한 바가 제3구라고 하는 견해를＜佛說三句＞라는 제목으로 이야기하였는데, 이는 본래 교학과 참선과 염불을 고루 강조하기 위한 의도에서 끌어낸 것이었다.²⁶⁸⁾休靜,≪心法要抄≫, 佛說三句(≪韓國佛敎全書≫7, 652쪽). 여기서 볼 수 있는 서산의 삼구에 대한 인식은 교와 선을 망라하는 것이었다.

　그런데 초의 등의 논박을 유발시킨 쟁점은, 백파가 이 제1구는 뛰어난 사람이 조사선을 아는 것이고, 제2구는 그보다 못한 사람이 여래선을 아는 것이며, 제3구는 열등한 사람이 의리선을 아는 것이라고, 삼종선을 삼구에 배당한 데 있다.²⁶⁹⁾亘璇,≪禪文手鏡≫, 義理禪三句頌 如此三禪 故云玄要任句(≪韓國佛敎全書≫10, 515쪽 하∼516쪽 상). 그리고 백파는 세존의 삼처전심을 첫째 分半座는 殺人刀로서 제2구이니 靑原이 이를 얻었고, 둘째 擧拈花는 활인검으로서 제1구이니 南嶽이 이를 얻었는데 이는 六祖의 정전이며, 셋째 槨示雙趺는 殺活을 아울러 드러낸 것으로 제1구 중에서도 최상이 된다고 구분하고 南嶽懷讓을 조사선에, 靑原行思를 여래선에, 그리고 荷澤神會는 보다 전단계인 의리선으로 판별하여²⁷⁰⁾亘璇,≪禪文手鏡≫, 殺活辨(≪韓國佛敎全書≫10, 520쪽 중). 하택종과 오종을 삼종선에 나누어 배당하였다.

　이 밖의 여러 가지 사항을 삼종선으로 나누어 나타낸＜三句圖示＞는 다음과 같다.

　이러한 백파의 삼종선 견해에 대해 비판하고 나선 것은 백파와 같은 환성의 5대손으로 연담의 증손제자인 草衣意恂(1786∼1866)이었다. 초의는≪禪門四辨漫語≫를 지어 특히 격외선과 의리선의 분별 및 살활문제와 선종오가를 삼구에 구분하여 배당한 데 대해 백파를 논박하였다.

　초의도 임제삼구와 삼요·삼현·삼구를 설명하는 것은 백파와 다를 바 없다. 그러나 초의는 조사선과 여래선의 이름이 나뉜 것은 남악이나 청원보다 훨씬 후대인 앙산과 향엄과의 문답에서 시작된 것인데,²⁷¹⁾意恂,≪禪門四辨漫語≫, 二禪來義(≪韓國佛敎全書≫10, 826쪽 하∼827쪽 상).
이는 고려 慧諶이 엮은≪拈頌說話≫권 15에 나오는 공안(598則)에서 볼 수 있다(≪韓國佛敎全書≫5, 463쪽 하). 이를 판별해 준 선지식인 앙산으로부터 비롯된 위앙종을 여래선에 배당하고 오가에 차별을 두는 것은 말에만 집착하여 뜻을 잃은 처사라고 공박하였다. 그래서 초의는 言敎에 의하지 않고 마음에서 마음으로 전하는 것이 조사선으로 이의 전수는 敎格 밖에서 이루어지니 격외선이며, 이에 비해 말을 통해 이치를 증득한 것이 여래선으로 이는 言敎·義理로 깨우쳐 들어가므로 의리선이라고 하였다. 따라서 조사선과 여래선은 사람에 대해 나눈 분별이요, 격외선과 의리선은 법에 대해 나눈 분별이며, 이는 선과 교에 그대로 대비될 수 있는 구분으로서 마음을 깨달아 언설을 잊으면 교가 선으로 되고 반대로 언설에 걸리고 마음에 미혹하면 선이 교가 된다고 하였다.²⁷²⁾意恂,≪禪門四辨漫語≫, 格外義理辨(≪韓國佛敎全書≫10, 827쪽 하∼828쪽 상).

　백파 역시 법과 사람에 대해 나눈 분별을 인정하고 의리선은 곧 여래선이며 격외선은 곧 조사선이라는 것이 예로부터 내려오는 통설임을 밝혔다.²⁷³⁾亘璇,≪禪文手鏡≫, 義理禪格外禪辨(≪韓國佛敎全書≫10, 519쪽 중). 그러면서도 백파가 이 두 가지 다른 기준에 의한 네 가지 선을 한데 섞어 삼종선으로 한 것에 대해 초의는 그 부당함을 지적한 것이다. 이는 앞서 함월해원이 이미 밝힌 바 있듯이 초의의 견해가 전통설을 따른 타당한 견해라고 해야 할 것이다.

　초의는 또 殺活에 대해서 살을 전하는 데도 반드시 활을 겸해야 하고 활을 전하는 데도 마찬가지로 살을 겸해야 함은 필연의 이치이어서 서로 분리될 수 없는 것이라고 하였다.²⁷⁴⁾意恂,≪禪門四辨漫語≫, 總說 (≪韓國佛敎全書≫10, 820쪽 하∼821쪽 상). 다만 본분 수단으로서의 살활이 자재로운 보도는 쓰기에 따라 살인도 활인도 할 수 있다는 것이다. 또한 삼처전심에 대해 만일 分半座가 살인도로 單殺無活의 경지라면 세존은 미진한 전심을 한 것이 되는 만큼 셋의 우열을 가를 수는 없고 삼처전심 모두가 조사선 도리요 격외선지라고 의견을 달리하였다.

　이를 이어 부휴계의 優潭洪基(1822∼1881)는≪禪門證正錄≫을 지어 삼처전심·사종선·살활·삼구일구설을 중심으로 자신의 견해를 폈다.²⁷⁵⁾洪基,≪禪門證正錄≫(≪韓國佛敎全書≫10, 1137∼1145쪽). 우담은 삼처전심은 모두 조사선으로 보아야 하며, 제1구는 조사선으로 교외의 격외선이고, 제2구는 여래선으로 교내의 의리선이라 하면서도 연담의 견해를 인용하여 의리선과 여래선은 寬局의 차이가 있음을 부연하였다. 우담도 일체 선문이 임제삼구에 있다고 보고 이 삼구를 알기 위해서는≪선문강요≫와≪염송설화≫를 잘 알아야 한다고 하였다. 또 살활에 대해 이는 오직 제1구 조사선에만 해당하는 것이며 오가를 차등지어 배당하는 것도 옳지 않다고 하였다. 따라서 우담은 초의의 견해를 지지하면서도 다소 다른 관점을 보이고 있음을 알 수 있다.

　이러한 초의와 우담의 백파 공박에 대해 백파의 손제자인 雪竇有炯(1824∼1889)은≪禪源溯流≫를 지어 백파의 견해를 재천명하였다.²⁷⁶⁾有炯,≪禪源溯流≫(≪韓國佛敎全書≫10, 653∼677쪽). 설두는 삼종선의 유별과 원천을 찾아 선 전반에 대해 상고하고 向上一竅를 찾아 선의 본원을 추구하고자 이 책을 지었다고 하고 있다. 그에 의하면 선에는 선의 活句眼目에서 보면 일체가 교외별전이라고 하는 禪旨와 선의 유별로 요약 가능한 禪論인 禪詮이 있다고 한다. 조사선과 여래선에 대해서 설두는 여래선은 여래 悟道의 내용으로≪화엄경≫ 설법이 바로 이것이며, 조사선은 眞歸祖師가 여래 오도가 미진함을 보고 여래에게 전심한 것이며 석가는 조사에게 이를 전해 삼처전심을 이루었다고 하였다. 설두의 견해 중 특이한 것은≪화엄경≫의 사법계를 삼종선과 견주어 분류한 것이니, 理法界와 事法界는 의리선이고 이무애 사무애법계와 이사무애법계까지는 여래선이며 사사무애법계는 조사선이라고 한 것이다. 그러나 이 견해는≪화엄경≫의 설법을 여래선이라고 한 자신의 논지와도 어긋나는 것이다. 또한 살활에 대해서 삼처전심의 분반좌는 단살무활의 살인도인데 이는 眞金鋪이기 때문이며 조사선은 활인검을 두루 융통함에 잡화포이므로 살인도의 여래선과 활인검의 조사선을 바르게 파악해야 한다고 하였다.

　선론에 관한 마지막 견해는 竺源震河(1861∼1925)가 밝혔다.²⁷⁷⁾震河,≪禪門再正錄≫(≪韓國佛敎全書≫11, 868∼871쪽). 축원은≪禪門再正錄≫을 지어 그간 진행된 선에 대한 논쟁이 무의미한 언구논쟁에 지나지 않는다고 보았으니, 제1구는 조사선이라 하면서 부처와 조사의 스승이 된다 하고, 제2구는 여래선이라 하면서도 인천의 스승이 된다고 하는 것은 언어 착각이 자심한 것이라는 지적이다. 그리고 四禪이 모두 한판에서 방법만 달리하는 선으로서 인명에 의한 구분은 合이요 법명에 의한 구분은 開라는 의견을 보이면서 격외선과 의리선도 둘 사이에 우열은 없고 殺句와 活句의 차이뿐이라고 하였다. 또한 言詮·義理의 흔적은 교이고 敎外가 一味禪인데 이 일미선까지 놓아야만 격외선이 되는 것이며, 살인도 활인검은 一家에 함께 있는 보도라고 하는 견해를 보였다.

　이상에서 전개된 삼종선 논쟁을 종합해 보면 먼저 백파는 전통설을 토대로 하여 임제삼구를 근본 명제로 독특한 삼종선과 삼처전심의 분배 그리고 살활의 분리 설명을 제시하였는데, 백파의 논리대로 만약 삼구를 떠나면 망설이 된다면 불타로부터 임제 이전까지의 禪論은 모두가 망설인가 하는 문제를 드러내게 된다. 또한 삼구가 全佛法을 포섭하는 법문이라면 이는 禪詮의 탈을 쓴 교리가 되고 마는 문제를 낳게 된다. 그리고 기준이 다른 사종선을 한데 묶어 삼종선으로 정리한 것도 타당성을 잃었다고 할 수 있다. 이에 비해 초의는 역시 전통을 근간으로 하되 임제 이전까지 포함하는 선론으로 안목을 넓혀 사종선을 두 기준에 따라 분명히 구분하고 살활이 분리할 수 없는 相依相資의 관계라고 밝히는 등 보다 객관성 있는 견해를 제시하였다.²⁷⁸⁾韓基斗,＜朝鮮 末期의 禪論＞(≪韓國禪思想硏究≫, 동국대 불교문화연구원, 1984).
―――,＜白坡와 草衣時代 禪의 論爭點＞(≪崇山朴吉眞博士華甲紀念 韓國佛敎思想史≫, 1975). 이는 초의가 영향 받고 교유하던 문사들이 다산이나 추사와 같이 새로운 학문경향을 보이던 지식인들이었기 때문에 전통을 묵수하기보다는 냉철히 비판할 수 있는 안목이 있었기에 나온 차이라고 하겠다. 그러나 초의 역시 기본적인 관점의 한계는 떨쳐버리지 못하였음을 알 수 있다. 이러한 백파와 초의의 차이를 바라보는 다른 승려들은 견해의 타당성보다는 전통에 얼마만큼 가까운지가 그 기준이 되었던 듯 백파의 견해가 널리 받아들여졌던 것으로 보인다. 이 시기에 활동한 應雲空如는 그의 저서≪遺忘錄≫에서 삼종선설을 말하고 있기 때문이다.²⁷⁹⁾空如,≪遺忘錄≫, 又答問拈頌大義 (≪韓國佛敎全書≫10, 735∼736쪽).

　후대에 가서 논점이 약화되기는 하였지만 이 선 논쟁이 갖는 의의는 적지 않다. 우선 뚜렷한 논점이 없던 선문에 삼종선설이 제기됨으로써 불교계의 활발한 논쟁이 전개되고 여기서 諸禪의 판단 기준을 수립하고자 하는 禪判이 나올 수 있었다. 그리고 이 과정을 통해서 祖師禪·如來禪·義理禪과 格外禪, 三句·三玄·三要, 大機大用, 三處傳心, 殺句·活句, 眞金鋪·雜貨鋪, 眞空妙有·向上一竅 등과 같은 선의 기초언어가 계발되었다는 점도 의미가 있다.²⁸⁰⁾韓基斗,＜朝鮮後期 禪論爭과 그 思想史的 意義＞(≪伽山李智冠스님華甲紀念論叢 韓國佛敎文化思想史≫, 1992), 1323∼1326쪽.

　백파와 초의의 논쟁과는 다른 관점에서 당대의 주목을 받았던 변론은 백파와 秋史 金正喜(1786∼1856) 사이에 전개된 논쟁이었다.²⁸¹⁾鄭炳三,＜秋史의 佛敎學＞(≪澗松文華≫24, 한국민족미술연구소, 1984). 추사는 청조고증학의 정수를 수용하여 조선 말기의 새로운 시대사조를 이끌어 갔던 인물로 역사적 통찰을 바탕으로 불전에도 상당한 식견을 갖는 등 다방면에 걸쳐 해박한 지식을 갖추고 있었다. 추사는 초의와 두터운 교유관계를 가졌으며 백파가 돌아가자 그 비문을 스스로 짓고 쓸 만큼 돈독한 우의를 보였다.

　영조대 이래 김창흡을 비롯하여 유자들의 문집에서 불교에 관한 견해가 산견되니 趙龜命(1693∼1737)의≪東溪集≫에는 비판적인 관점에서 불교의 논지를 파헤친＜原佛＞과 같은 글들이 보이는데,²⁸²⁾趙龜命,≪東溪集≫권 8 論禪篇. 기존의 성리학 대신 새로운 사상체계를 갈구하던 순조대 이후에는 다산의 경우에서 보이는 것처럼 불교에 대한 이해가 점차 깊어가는 것을 볼 수 있다. 여기서 나아가 추사 때에 오자 더욱 심도 있는 불교이해가 나타나게 된 것이다.

　추사와 백파가 상호 깊은 우의를 바탕에 두고 편지로 주고 받으며 전개한 격렬한 논쟁은 백파의 禪旨에 대해 먼저 추사가 공박한 데서 시작되었다. 추사는 삼종선과 같은 부분적 논점보다 근본적으로 화두에 천착하는 것이 선가의 고질적 병폐임을 지적하고 따라서 간화선을 고창한 大慧가 화근의 근본임을 역설하며 스스로 轉迷開悟하는 자각이 없는 선문을 맹공하였다. 그래서 지금의 방책으로 먼저 삼처전심의 구도를 떨쳐버리고 경솔하게 화두를 염송하지 말며≪安般守意經≫ 같은 기본전적을 겸허한 마음으로 읽어 한 가닥 광명을 기대해야 하리라고 하였다. 불법이 중국에 온 지 천년이 못 되어 교문이 여러 갈래로 나뉘어 달마가 와서 모두 쓸어 없애고 ‘不立文字 直指人心’을 내세워 새로운 기풍을 진작시켰는데, 이제 달마 이후 천년이 지난 지금 이 시대를 구할 방편을 가진 明眼人이 나와야 한다는 것이다.

　이에 대해 백파는 선문의 종장임을 자부하며 조항마다 일일히 논박하였는데, 특히 그 중에서도 유가의 寂然不動과 感而遂通, 도가의 無爲而無不爲, 불가의 常寂常照가 각각 眞空과 妙有에 해당하며 그 둘이 없는 원융처가 각각 太極, 天下母, 一圓相(본래면목)이라 하여 삼교를 대비시킨 것이 눈에 띈다.²⁸³⁾두 번에 걸친 백파의 반박문은 奉琪가 편집한≪少林通方正眼≫(≪韓國佛敎全書≫10, 635∼646쪽)에 실려 있다.

　추사가 기본경전을 중심으로 선교화회적 모색을 백파에게 제시한 것은 당시 선 우위의 불교가 구각을 벗고 동시대 사상계에 흐름을 같이할 새로운 기운을 불러일으켜야 했다는 점에서 대단히 중요한 문제이었다. 그러나 백파는 전통에 대한 강한 집착을 굽히지 않아 불교 내부의 자생적 변화를 이끌어내지 못하였고, 선 논쟁에서 타당한 견해도 보였던 초의 역시 새로운 변화를 추진하지 못하는 한계를 보였을 뿐이다.