퇴계학파와 율곡학파가 양립하면서 순수한 주자학을 지향하는 조선성리학이 정착되고 교조화되는 바로 이 시기에 다른 한편으로는 탈주자학적인 학문경향이 등장하기 시작한다. 대표적인 사상만 들어 본다면 퇴계 때부터 이단으로 변척되기 시작한 陽明學과 白湖 尹鑴(1617∼1680)로 대표되는 漢學的 경향, 西溪 朴世堂(1629∼1703)의 탈주자적인 경전주석을 들 수 있겠는데 특히 백호와 서계의 경학은 송시열의 격렬한 비판대상이 되었다는 점에서 더욱 주목된다 하겠다.

　윤휴는 주자학에서 벗어난 한학적인 유학이론을 전개하여 송시열로부터 사문난적이라는 규탄을 받았다. 윤휴는 東州 李敏求의 문인이지만 학문에 있어서는 여헌 장현광과 미수 허목의 영향을 상당히 받았다고 하겠다. 여헌과 미수는 앞에서 살펴보았듯이 당시로서는 독특하게 우주론에 관심을 가졌던 학자들이다. 백호사상의 가장 큰 특징은 孝悌忠信이라는 윤리규범의 근거를 인간의 性과 우주의 理에서 찾지 않고 先秦儒學, 漢代儒學으로 거슬러 올라가서 天개념을 재천명함으로써 효를 중시하는 독자적인 유학을 전개한다는 사실이다. 이러한 윤휴의 사상은 왕권의 강화라는 남인의 정치적 이해와도 관계가 있지만 교조화된 주자학에 대한 반발과 그에 대한 대안으로 고대의 실천적 유학을 복권시킨다는 의미도 있다고 생각한다. 그의 사상이 주자학 중심의 조선성리학에서 벗어나 있음은≪大學≫과≪中庸≫해석에서 분명히 드러난다. 여기서 윤휴는 주자를 따르지 않고≪대학≫과≪중용≫의 戒懼, 愼獨을 事天, 畏天, 敬天으로 해석하여 유학이 종교성을 회복시키고 보다 실천적인 유학이론을 전개하려고 했다. 그래서 윤휴는≪중용≫을 10장 28절로 나누고 수장의 天命, 率性, 修道에 대해 다음과 같이 해석하였다.

성은 천으로부터 나와서 바꿀 수 없는 것임을 밝힌 이유이며 도는 물의 본체가 되어 떠날 수 없고 교는 사람에게 필요하니 그만 둘 수 없는 것이다. 그리하여 계구, 신독이라 함은 군자가 하늘을 두려워하여 수도하는 까닭을 말한 것이다(尹鑴,≪白湖全書≫권 36, 讀書記 中庸).

　윤휴는 성리학의 太極과 理가 지닌 형이상학적 의미를≪書經≫등의 고전에 나오는 天, 上帝에다 부여하고 천, 상제의 인격성을 강조함으로써 주자학의 이기성정론이 지닌 주지주의적 관념성을 극복하고 실천적 유학으로 복귀하고자 했다. 그리하여 부모를 모심, 즉 효라는 인륜의 근거를 보편적 인간성의 내면적 탐구에서 찾는 것이 아니라 하늘을 따름, 하늘을 두려워함이라는 종교적 심성에서 구한다.

　≪대학≫의 격물치지, 성의정심의 해석에서도 주자학의 居敬窮理로 해석하지 않고 恕를 정주의 敬과 같은 것이라 하고 “格이란 誠이 지극하여 감통한 것이다”라고 하여 존덕성을 중시하는 육왕과 정주를 절충하는 태도를 취했다. 그는 주자가 格을 至라고 해석한 데 대해 “주자가 논한바 先知後養 强探力取의 설은 정자의 욕망을 줄이면 양지가 스스로 밝아진다는 의미와는 다르다. 또 存心과 致知가 서로 도우며 誠과 敬이 함께 하고 나와 물이 감통했다는 뜻을 보지 못한다”⁰⁵⁵³⁾尹　鑴,≪白湖全書≫권 37, 大學全篇大旨按說.라고 하여 주자의 궁리에 의한 격물치지를 반대하고 천을 매개로 한 人과 物간의 감통에 의한 인식을 주장하였다. 이렇게 사천, 사친을 바탕으로 인륜의 내재를 자각하고 감통에 의한 직관적 인식으로 격물치지의 번쇄함을 단순화하여 수기의 본을 확립한 윤휴의 사상체계는 치인지말의 구체적 방도에 보다 많은 관심을 두게 된다. 윤휴의 경세론은＜漫筆＞에 잘 드러나 있는데 문무의 조화, 과거제 폐지, 관제개혁 등의 전통적인 경세문제에서부터 화포, 서양학에 이르기까지 다양한 문물제도를 다루고 있어 그의 事天學과 정약용의 수사학이 일치하고 있음이 우연이 아니라는 느낌을 갖게 한다.

　서계 박세당은 이경석의 비문에서 송시열을 비방하고≪思辨錄≫에서 주자장구를 반대했다고 해서 송시열의 문인들로부터 사문난적으로 공격받아 곤욕을 치렀다. 송시열은 서계를 五邪로 지목하고 말하기를 “세당은 윤증의 당이다. 감히 책을 지어 사변록이라 하여 주자집주를 공격하고 중용에서는 제멋대로 장구를 고쳤으니 賊鑴(윤휴)의 구투를 그대로 이어받고 있다”⁰⁵⁵⁴⁾宋時烈,≪宋子大全≫附錄 年譜.고 했다. 이 말만 보아도 우암이 서계를 얼마나 위험한 인물로 보았는지 알 수 있다. 서계는 당시의 주자학만을 고집하는 조선 성리학자를 빗대어≪사변록≫의 서문에서 다음과 같이 비판하고 있다.

지금 육경을 구하는 이는 거개가 모두 얕고 가까운 것을 뛰어 넘어서 그 깊고 먼 것으로 달려가며 그 추솔하고 소략한 것은 소홀히 하고서 정밀하고 다 갖춘 것만 엿보고 있으니 그 어둡고 어지러움과 빠지거나 넘어져서 아무런 소득이 없음은 당연하다 할 것이다. 저들은 다만 그 깊고 먼 것을 얻지 못할 뿐 아니라 얕고 가까운 것마저 모두 잃게 될 것이다. 아 슬프다. 그 또한 미혹한 것이 심하다 하겠다(朴世堂,≪思辨錄≫, 序文).

　서계의 이 말은 조선 전기의 실천적 기풍이 사라져 버리고 스콜라적인 논쟁만 횡행하는 당시의 조선성리학에 대한 직시라 하겠다. 이렇게 당시의 문제점을 지적한 서계는 얕고 가깝고 소략하고 추솔한 것부터 시작해서 차츰 깊고 심원한 이론으로 가야한다고 생각해서 유학의 근본이 되는 경전의 연구도 주자학에서처럼 이기성정의 형이상학적 이론으로 해석해서는 안되고 일상이 실천과 경전의 본뜻에 따라 해석해야 한다고 생각했다. 그 결과가≪사변록≫이라는 탈주자학적 경전해석이다.

　≪四書思辨錄≫은 그가 50대 초반에서부터 60대 초반에 이르기까지 약 10년에 걸쳐 완성한 책이다. 이 가운데 특히≪대학≫과≪중용≫의 해석과 편차수정이 당시에 이르러 절대시 되고 있던 주자의≪사서집주≫에 어긋난 것이 많아 문제가 되었다. 서계의≪대학≫해석에서 주자와 다른 점은 다음과 같다. 첫째 주자의 三綱領說을 반대하고 明德, 至善의 二綱領만 인정했다. 둘째 格을 ‘則’, ‘正’으로 보아 격물치지를 ‘물의 법칙을 구하여 그 올바른 모습을 얻도록 힘쓰는 것’으로 해석했는데 이는 왕양명의 해석과 유사하다. 셋째 주자는 대학을 너무 심원하게 해석한다고 비판했다. 중용 해석에서는 다음과 같이 자신이 견해를 밝히고 있다. 첫째 중용이란 명칭의 해석에서 정주의 해석이 다름을 지적하고 庸을 恒으로 해석하여 중을 항지한다고 해석했다. 둘째 수장의 해석에서 주자가 “인과 물이 각각 그 본성의 자연스러움에 따르니 …”라고 한데 대해, 인과 물을 병거한 것은 잘못이라고 지적하고 있다. 셋째 率性之道의 해석에서 주자의 말대로 도가 심성에 갖춰져 있다면 수도의 필요가 없을 것이라고 비판하고 사람이 인성에 따라 행하는 것이 도로와 같다는 단순한 뜻으로 해석하고 있다. 넷째 주자의 未發공부에 대해서는 적연부동을 아무 지각이 없는 죽은 사물에 비유하는 길다란 혹평을 가하고 있는데 이것도 후일 다산의 주자비판과 공통된다. 이외에도 費而隱을 체용으로 해석한 것을 반대했다든지 주자의 “인물성이 본성에 있어서는 같아 사람이 능히 물성을 다할 수 있다”는 주장을 부정했다든지 하여 주자의 관념적 형이상학적 해석에 대해 전반적으로 부정적인 태도를 취하고 있다.

　이러한 서계의 주자학적 경전해석에 대한 비판은 당시 성리학의 교조적 태도를 비판한 것으로 조선유학이 수기치인의 본령을 회복하기 위해서는 주자학이라는 테두리를 벗어나야 한다는 생각을 편 것이다. 서계의 고전에 입각한 실증적인 태도는 주자에서 벗어나기 위해 더 큰 권위를 찾는 과정이었고 후일의 실학적 학풍의 선구적 역할을 했다고 볼 수 있다. 주자학이 부정은 곧 중세적 사유로부터의 이탈을 뜻하는 것이고, 그것이 고대의 유학으로의 복귀를 주장한다 할지라도 새로운 사유로의 전환 이외의 의미는 아니기 때문이다.