11세기 후반 여진의 완안부(完顔部)가 세력을 확장하여 그간 고려의 영향권 안에 있던 여진 부족까지 복속시키려 하자 고려와의 충돌이 불가피하게 되었다. 이에 고려는 별무반(別武班)을 편성하여 윤관(尹瓘)을 중심으로 하여 17만 대군으로 대대적인 여진 정벌 전쟁에 나선다. 고려군은 대승을 거두고 새로 개척한 영역에 9개의 성을 설치하였다. 하지만 이 성과와 영광은 그리 오래가지 못하였다. 생존기반을 잃은 여진이 무력으로, 또 외교적으로 끊임없이 9성을 반환해 줄 것을 요청하여 고려는 고심 끝에 9성을 고스란히 돌려주었던 것이다. 야심찬 북방 개척의 시도는 결국 인적, 물적 손실만을 남기고 고려는 두 손에 아무것도 남지 않은 채 끝나버렸다. 그리고 머지않아 고려는 새로운 국제 정세를 맞이하게 된다.

고려 건국 이래 여진과 고려는 대체로 사이가 좋았다. 고려에 복속하였던 여진 부족은 고려 중심의 천하관(天下觀)을 구성하는 중요한 존재이기도 하였다. 그러나 11세기 후반 여진의 완안부가 점차 세력을 확장하면서 상황은 변화하기 시작하였다. 훗날 금의 목종(穆宗)으로 추증되는 완안부의 추장 영가(盈歌)가 주변의 여진 부족들을 통일하고 지금의 간도 지방을 차지한 뒤, 남하하여 갈라전(曷懶甸) 지역까지 세력을 떨치게 되었다. 영가가 살아 있을 때에는 고려와 큰 마찰이 발생하지 않았으나 그동안 고려에 내부(來附)하여 살던 갈라전 지역의 여진들이 완안부의 움직임에 동요하기 시작했다. 완안부의 세력이 확장될수록 여진 부족에 대한 고려의 영향력이 약화될 수밖에 없는, 고려에게는 상당히 불편한 상황이 전개되고 있었다.

1104년(숙종 9)에 영가의 조카인 오아속(烏雅束)이 여진족을 이끌게 되면서 안팎으로 긴장감이 더욱 고조되었다. 여진 내부에서는 별부(別部)의 부내로(夫乃老) 등이 오아속에 반기를 들어 갈등이 발생하였다. 오아속이 공형지조(公兄之助)에게 명하여 부내로를 공격하게 하면서 그 군대가 국경 근처 정주(定州) 관문 밖에 주둔하였다. 여진의 동태를 주시하던 고려의 입장에서는 이를 고려에 대한 공격으로 인식하고 임간(林幹)을 파견하여 대비하게 하였다. 임간이 공을 세우는 데만 급급하여 신중하지 못한 작전을 펼쳐 적진에 너무 깊숙이 들어가는 바람에 여진에게 크게 참패하고 만다. 이후 임간을 대신하여 윤관이 동북면행영도통(東北面行營都統)이 되어 출정하게 되는데, 이것이 그 유명한 윤관의 여진 정벌의 시작이다.

윤관은 적 30여 명을 베며 비교적 선전하는 듯하였으나 역시 역부족이었다. 고려 군대 반 이상이 부상을 입거나 전사하여 피해가 막심하였던 것이다. 결국 윤관은 태도를 낮추어 강화를 맺고 돌아오게 된다. 숙종은 두 차례에 걸친 패배에 충격과 분노에 휩싸인다. 천지신명의 도움으로 여진을 정벌하게 된다면 그 지역에 절을 지어 바치겠다는 숙종의 기도에서 그의 심정을 짐작해볼 수 있다. 절치부심한 윤관은 패전의 원인이 고려군은 보병 중심이고 여진은 기병 중심이기 때문이라고 보고, 숙종에게 별무반(別武班) 창설을 건의하였다. 그리하여 그해 12월에 별무반을 설치하였으나, 아쉽게도 숙종은 여진 정벌의 실현을 보지 못하고 1105년(숙종 10) 10월에 사망하였다. 이제 여진 정벌의 과업은 예종의 몫이 된 것이다.

1107년(예종 2) 윤10월, 예종은 선왕의 유지를 받들어 여진 정벌을 결정하고 윤관을 원수로 오연총(吳延寵)을 부원수로 임명하였다. 예종은 서경으로 행차하여 윤관과 오연총에게 부월을 하사하였다. 여진 정벌이 본격적으로 재개된 것이다. 이때 동원된 고려 출정군은 총 17만의 규모였으며 별무반도 여기에 참여하였다. 고려군은 속전속결로 행군하며 여진족을 소탕하였다. 135촌을 격파하여 약 5,000명을 죽였으며 사로잡은 포로도 많았다. 사료에 기록된 모습은 그야말로 파죽지세, 전쟁은 대승이었다.

윤관은 출정한 지 얼마 지나지 않아서부터 국경을 설정하여 성을 쌓기 시작하였다. 1107년 12월부터 웅주(雄州), 영주(英州), 복주(福州), 길주(吉州)에 성을 축조하였고 이듬해 함주(咸州)와 공험진(公嶮鎭)에 추가로 축성하였다. 윤관은 6성 축성을 완료하고 공험진에 비를 세워 국경을 다시 규정하였다. 또한 왕에게 하례하는 표문을 올리고, 임언(林彦)에게 영주 관청의 벽에 전적을 기록하게 하였다. 이러한 일련의 행위는 고려의 갈라전 지역 장악과 축성이 성공적으로 이루어졌음을 공식화하는 것이었다. 고려 조정에서 본래 기획한 것은 이 6성이었음을 알 수 있다. 1108년(예종 3)에 윤관은 원래 계획보다 더 깊이 적진에 들어가 평융진(平戎鎭)과 의주(宜州), 통태진(通泰鎭)에도 축성함으로써 단계적으로 9성을 완성하였다. 그리고 새로이 개척한 지역을 완전히 고려의 영토로 만들기 위해 9성에 남도의 주민들을 이주시켜 농사짓고 살게 하였다. 이때 옮긴 백성의 규모가 무려 75,000여 호에 달했다고 한다. 영주성 안에 호국인왕사(護國仁王寺)와 진동보제사(鎭東普濟寺)를 창건하였는데, 이는 여진 정벌에 성공하면 절을 짓겠다던 선왕 숙종의 서약을 실천한 것으로 생각된다. 고려의 숙원이었던 여진 문제를 일단락 짓고 윤관과 오연총 등은 개경으로 개선하였다. 하지만 생각과는 달리, 문제는 아직 완전히 해결된 것이 아니었다.

빼앗긴 땅을 되찾고자 하는 여진의 군사적 반격은 성을 쌓고 한 달이 지났을 무렵부터 바로 시작되었다. 고려의 9성 축조와 사민 정책은 여진인들이 오랜 기간 정착해서 살아가던 생활의 터전을 빼앗는 것이었다. 그들에게는 거주와 생존이 걸린 위기 상황이었기 때문에 저항이 치열하고 거셀 수밖에 없었다. 사실 고려가 이러한 상황을 전혀 예상하지 못한 것은 아니었다. 이미 병마부사(兵馬副使) 박경작(朴景綽)이 윤관에게 “무공은 이미 떨쳤으니 마땅히 군대를 거두어 만전을 도모해야 하는데, 다시 오랑캐의 경계에 깊이 들어가 성지(城地)를 줄지어 짓는 것은, 지금은 비록 쉽게 이룰 수 있겠지만 후에는 아마 지키기 어려울 것입니다.”라고 경고했다. 다만 윤관이 이를 받아들이지 않고 강행하였던 것이다. 선왕과 현왕의 의지가 담긴 여진 정벌을 실천하는 것을 자신의 사명으로 여겼던 것일까. 그러나 대가는 생각보다 컸다.

완안부를 중심으로 한 여진군과의 군사적 격돌은 지속적으로 이루어졌고 심화되었다. 고려는 이에 대응하여 숭녕진성(崇寧鎭城), 진양진성(鎭陽鎭城), 선화진성(宣化鎭城)을 추가로 축조하여 방어하였던 것으로 보인다. 우리는 보통 고려가 여진을 정벌하고 개척한 지역을 9성으로 통칭하지만, 실제로는 총 12개의 성이 사료에 나타나고 있기 때문이다. 다만 고려 조정이 여진과 화친을 결정하고 철수한 성은 다시 9개의 성으로, 여기에 보이지 않는 의주성, 평융진성, 공험진성은 중간에 여진의 공격으로 다시 빼앗기거나 전략적 가치의 하락 등으로 폐지되어 상실했던 것으로 추정된다.

여진이 거세게 저항하자 상황을 호전시키기 위하여 윤관과 오연총이 다시 출정하였으나 전세(戰勢)는 별로 좋지 않았다. 또한 개척한 땅이 크고 넓으며 9성 간 거리가 멀고 지세가 험준하여 관리하기가 어려운 문제가 대두되고 있었다. 고려 내부에서도 계속되는 전쟁 물자 조달과 기근, 전염병 등 어려움이 겹쳐 일어나 백성들이 괴로움을 호소하고 있었다. 괴롭기는 여진도 마찬가지였다. 그러던 중 1109년(예종 4)에 여진이 9성을 반환해 준다면 예전과 같이 고려를 상국으로 받들겠다며 화친을 청해왔다. 곧 예종은 대신들을 모아놓고 9성 반환문제를 논의하였다. 당시 조정은 9성 반환을 찬성하는 분위기가 지배적이었다.

김인존이 말하기를, “땅이라는 것은 본디 민(民)을 기르는 것인데 지금 성을 다투다가 사람을 죽이니 그 땅을 돌려주고 민을 쉬게 하는 것이 낫습니다. 지금 〈그 땅을〉 돌려주지 않는다면, 반드시 거란과 틈이 벌어질 것입니다. … 이로써 생각해보면 나라에서 9성을 반환하지 않는다면, 거란이 반드시 우리를 책망하고 꾸짖을 것입니다. 만약 동쪽으로는 여진에 대비해야 하고, 북쪽으로는 거란에 대비해야 한다면, 즉 신은 9성이 삼한의 복(福)이 아니게 되는 것이 두렵습니다.”라고 하였다.

고려의 9성 개척에 부정적이었던 거란의 입장은 고려에게 또 하나의 커다란 부담이었음을 쉽게 짐작할 수 있다. 여진 정벌에 강한 의지를 보였던 예종도 9성 유지와 관련한 안팎의 여러 어려움과 이미 반환론으로 기울어진 조정의 분위기를 극복하기는 어려웠던 것 같다. 결국 논의 끝에 고려는 9성에서 철수하고 개척한 영토를 여진에게 돌려주기로 하였다. 야심차게 여진 정벌에 나서 9성을 쌓은 지 겨우 2년 만의 일이었다.

큰 승리를 거두며 당당하던 개선장군 윤관은 명분 없는 전쟁을 일으켰다는 오명을 쓰고 관직에서 물러나 공신호까지 박탈당하고 만다. 예종의 비호에도 불구하고 윤관은 명예를 미처 다 회복하지 못한 채 1111년(예종 6), 9성을 반납한 지 2년 만에 사망하였다. 일생의 빛나던 업적이 물거품으로 사라진 것에 대한 분노와 한탄이 그의 건강을 해친 것은 아니었을까. 9성의 설치와 환부는 윤관 개인에게만 뼈아픈 기억이 아니었다. 막대한 물자와 인력을 소모한 전쟁이 끝내 실패로 돌아가면서 고려는 국력에 큰 손실을 입었고 국가 위신 또한 추락하였다. 또한 고려 건국 이래 추진되어 오던 북진 정책도 좌절되었으며, 동북지방의 여진에 대한 고려의 영향력이 크게 축소되면서 고려 천하관의 외연에 타격을 입었다.

반대로 여진에게는 기회가 되었다. 9성만 돌려준다면 자손 대대로 공물을 바치고 기와 조각 하나도 국경에 던지지 않겠다던 맹세는 사실 믿을 수 없는 약속이었다. 완안부 여진은 다시 여진 부족들을 단결시키며 무서운 기세로 성장해나갔다. 완안부의 아골타(阿骨打)는 거란을 공격하면서 1115년(예종 10)에 금을 건국하고 황제로 즉위한다. 이후 요와 북송을 멸망시켰고, 고려에게 사대의 예를 요구한 사실은 유명한 사실이다. 9성을 반환한 지 몇 년 지나지 않아 여진의 성장을 중심으로 동북아시아의 정세가 급변하게 되었던 것이다.

윤관의 9성 설치는 2년 만에 여진에게 돌려줌으로써 짧은 기간 유지되었지만, 이 경험은 이후 진행된 영토 개척의 정당성을 확보하는 역할을 했다. 고려말 공민왕 대에 쌍성총관부(雙城摠管府)를 탈환한 후 진행된 영토 개척에서 동북방 영역이 원래 고려의 영토였음을 내세우는 근거가 되었으며, 조선 초기까지 이어진 북진 개척의 명분으로 소환되었다. 이때 북진 정책은 새로운 영역을 개척하는 것이 아니라 옛 영토 회복이 그 명분이었고, 그 ‘옛 영토’란 윤관의 9성 설치의 경험에서 찾아지는 것이었다.

9성의 설치 지역에 대해서는 조선시대 이래 현재에 이르기까지 많은 논란이 있어 정확한 위치를 비정하기 어렵다. 윤관의 9성 설치 지역은 관련 기록이 단편적일 뿐 아니라 상호 모순되는 점이 존재하기 때문에 이 문제를 바라보는 시각에 따라 연구자마다 의견의 차이가 크다. 특히 윤관이 설치한 9성 가운데 공험진의 위치 규명이 논란의 핵심이다. 공험진은 9성 중 가장 북쪽 거점이므로 이곳이 어디인지 밝힌다면 윤관의 9성 범위를 파악할 수 있기 때문이다. 조선 초기 『세종실록』 지리지에는 공험진이 두만강 북쪽 700리에 위치한다고 기록되어 있다. 이 내용은 일찍이 윤관의 9성 설치 지역 범위를 파악하는 근거로 주목받아 논쟁의 핵심 쟁점이 되었다.

일제 강점기 식민사학자들은 『세종실록』 지리지의 기록을 전면 부정하고 윤관 부대의 활동 범위를 크게 축소하여 함흥평야 일대에 국한시켰다. 이 견해는 논지에 부합하지 않는 문헌 자료를 의도적으로 외면하고 현지 답사를 통해 얻은 정보를 우선시하는 경향이 강했다. 그리고 이것이 해방 이후 한국 학계의 정설로 이어졌다.

1970년대 이래 식민사학 극복을 목표로 하는 민족주의적 관점에 토대를 두고 있는 입장에서는 『세종실록』 지리지 기록을 기반으로 윤관의 활동 범위를 두만강 이북까지 설정하였다. 그러나 결론이 강하게 전제되어 있는 논의였기 때문에 이에 맞추어 사료를 무리하게 해석하는 문제가 있었다. 9성의 범위를 함흥평야에 한정시킨 일본 학자들의 의견도 문제가 있지만, 『세종실록』 지리지의 기록도 있는 그대로 믿기 어렵다. 『세종실록』 지리지는 윤관 정벌 당시의 기록이 아닐뿐더러 전해지는 이야기를 수록한 것이기 때문에 그 신뢰성 측면에서 엄격한 사료 비판이 요구되는 자료이다.

근래에는 기존의 함흥평야 설과 두만강 이북설을 모두 부정하고 윤관이 개척한 영역을 함경북도 길주(吉州) 이남까지로 봐야 한다는 설이 제기되어 설득력을 얻고 있다. 사실 길주 이남설의 연원은 조선 후기 실학자들에서 찾을 수 있다. 문헌고증을 통한 역사 지리 연구에 대한 관심이 높아지면서 한백겸(韓百謙), 안정복(安鼎福), 김정호(金正浩) 등 여러 실학자들이 이와 같은 견해를 가지고 있었으나 오랜 기간 큰 주목을 받지 못했다. 길주 이남설은 『세종실록』 지리지는 조선 초기의 인식을 반영한다는 점에서 서로 충돌하는 내용에 대해서는 윤관 당대의 기록을 더 중시하는 입장이다.