1104년(숙종 9)에 여진족과 전투를 벌였다가 패하고 돌아온 윤관(尹瓘)의 건의에 따라 여진족에 대항하기 위해 설치된 군사조직이다. 보병인 신보군(神步軍)과 기병인 신기군(神騎軍) 그리고 승려로 구성된 항마군(降魔軍)으로 구성되었다.

고려는 건국 초기부터 한반도 북부와 만주․연해주 일대에 흩어져 살던 여진 부족들과 접촉하였다. 시기에 따라, 또 부족에 따라 우호적인 관계가 형성될 때도 있었고, 때로는 무력 충돌 사태가 벌어지기도 하였다. 그런데 고려 숙종(肅宗)과 예종(睿宗) 대에 들어서서 여진의 한 부족인 완안부가 급속도로 성장하면서 두 세력 간에 크게 2차례의 무력 충돌이 발생하였다. 고려가 완안부의 성장을 인식하게 된 것은 완안부에 거주하던 고려인 의원이 태사 영가(盈歌)의 친척을 치료해주고 돌아와 흑수(黑水)에 사는 여진(女眞) 부족이 날로 번성하고 군사가 강하다고 숙종에게 보고한 이후부터였다. 고려는 이때부터 완안부에 사신을 보내며 왕래를 시작하였다. 완안부의 세력 확장이 고려의 입장에서는 그리 달가운 것만은 아니었다. 완안부가 세력을 키워 주변의 여진 부족들을 장악한다면, 이는 고려가 주변 여진 부족들에게 미치고 있던 영향력은 줄어들 수밖에 없었기 때문이다. 이는 숙종이 1101년(숙종 6) 8월에 자신이 왕위에 오른 뒤에 북으로는 거란, 남으로는 송과 외교관계를 맺고 있다는 말과 함께 동쪽의 여진이 고집이 세어 순종하지 않고 있다 는 언급을 한 사실을 통해서도 충분히 짐작된다. 두 세력 간에 긴장이 점차 높아지고 있었다.

1104년(숙종 9), 드디어 사단이 벌어졌다. 동여진의 추장 오아속(烏雅束)이 자신과 갈등을 빚은 별부(別部)의 부내로(夫乃老)를 그 해 1월에 공형(公兄) 지조(之助)를 시켜 공격하는 과정에서 기병을 고려의 정주(定州) 관문밖에 주둔시켰던 것이다. 본격적인 두 세력의 충돌은 다음 달인 2월에 시작되었다. 고려의 판동북면병마사(判東北面兵馬使) 임간(林幹)이 정주성 밖에서 여진과 충돌을 일으켰는데, 영가가 보낸 지훈(之訓) 등에게 고려군은 패배를 당하였다 고 기록되어 있다. 승세를 탄 완안부는 고려의 정주 선덕관(宣德關)까지 침입하여 살해와 약탈을 감행하였다. 고려는 3월에 이번에는 윤관을 동북면행영병마도통(東北面行營兵馬都統)으로 삼아 전장으로 보냈다. 윤관이 이끄는 고려군은 완안부와 전투를 벌여 30여 명의 적을 베기는 하였지만, 고려의 병사 또한 반이 넘는 손실을 당할 정도로 큰 타격을 입었다. 완안부의 반격 또한 만만치 않았던 것이다. 고려는 생각지도 못한 여진의 반격에 겸손한 말로 여진을 달래고 강화를 맺고 돌아와야만 했다.

같은 해 6월에 완안부는 공형 지조 등 68인을 관문에 보내 와서 화친을 청하였다. 고려는 이렇게 두 번에 걸쳐 공세를 폈으나, 완안부를 제압하는 데는 실패하고 말았다. 이는 고려의 권위 실추를 가져와 동북부 여진 지역에 대한 영향력의 감소로 이어지는 결과를 가져왔다. 뿐만 아니라 대내적으로도 숙종의 권위를 약화시킬 수 있다는 점에서 여진정벌을 주장한 숙종에게는 큰 충격을 주었다. 여진정벌의 실패에 대해 숙종은 분노할 수밖에 없었다. 그는 천지신명에게 여진 정벌에 도움을 주면 그 지역에 사찰을 창건하겠다는 기도를 올리기도 했다.

숙종은 여진정벌을 다시 추진하면서, 신보군·항마군·신기군 등으로 구성된 별무반(別武班)을 창설하였다. 1104년(숙종 9) 12월의 일이었다. 문관과 무관 가운데 현재 직책이 없는 관리인 산관(散官)과 하급 관리인 이서(吏胥)로부터 상인과 노복 및 주․부․군․현의 백성에 이르기까지 포함되었는데, 말을 가진 자는 기병인 신기군에 속했고, 말이 없는 자는 보병인 신보군·도탕(跳盪)·경궁(梗弓)·정노(精弩)·발화(發火) 등의 군에 편입시켰으며, 나이 20세 이상 중에 과거응시자가 아니면 모두 신보에 속하게 하고 문무양반은 물론 모든 진(鎭), 부(府)의 군인들을 사시사철 훈련 시켰다. 그리고 항마군은 승려에서 뽑아 구성하였다. 도탕(跳盪)·경궁(梗弓)·정노(精弩)·발화(發火)는 신기와 신보에 속하지 않는 별도의 임무를 띤 부대로 생각되지만, 그 임무가 무엇인지는 명확하지 않다. 다만 명칭을 통해서 그 임무를 짐작해볼 수 있는데, ‘도탕’은 ‘적이 싸울 준비를 하기도 전에 공격하여 쳐부순다’는 의미이므로 기습을 전문적으로 하는 부대였을 것이며, ‘경궁’은 강한 궁을 쏘는 부대, ‘정노’는 기계식 화살을 사용하는 부대, ‘발화’는 불을 다루는 화공을 전문으로 하는 부대였을 것으로 여겨진다.

숙종은 노비부터 승려에 이르기까지 거의 전 국민을 대상으로 해서 군사를 선발하여 별무반을 편성하였다. 그가 얼마나 여진 정벌을 중시했는지를 짐작하게 한다. 고려는 별무반 가운데서도 신기군을 그 주력으로 삼았는데, 기병으로 구성된 여진인을 상대하기 위한 목적에서였다. 하지만 숙종은 여진 정벌을 실행하지 못한 채, 재위 10년인 1105년(숙종 10) 10월에 사망하였다.

예종대에 들어서도 별무반에 대한 지원과 관리는 지속되었다. 1106년(예종 1) 오연총은 당시 징발한 신기군 가운데 부모의 나이가 70살 이상이며 외아들인 사람은 면제해 주고, 한 집안에 3ㆍ4명이 종군하는 경우에는 1명을 감면해 줄 것이며, 재신과 추신의 아들 중에는 자원하여 종군한 자가 아니면 면제하도록 요청하였는데, 예종은 이를 허락했다. 그런데 재신이나 추신의 아들 가운데 스스로 종군한 자가 아닌 이를 면제해주었다는 사실은 별무반의 구성이 주로 일반 백성들로 이루어졌음을 말해준다.

예종은 1106년(예종 1) 1월에 신봉문에 나가 신기군을 사열하였으며, 11월에는 윤관과 오연총 등이 숭인문 밖에서 신기군과 신보군을 점검하였다. 다음 해인 1107년(예종 2) 윤10월에는 여진을 공격하기 위해 순천관 남문에서 병사들을 점검한 다음 은과 포를 주고 음식을 먹였다고 하는데, 이때의 점검은 별무반을 점검한 것으로 여겨진다.

예종 대에 들어서서 여진 정벌은 다시 본격화되었다. 그 시작은 1107년(예종 2)에 여진인들이 변방의 성에 출현하여 각 부락을 돌아다니며 어떤 일을 모의한다는 보고가 있은 이후부터였다. 예종은 숙종의 발원문을 내보이거나, 태묘에 점을 치는 행위를 하며 여진정벌을 하기 위한 사전작업을 하였다. 고려는 이해 윤10월에 윤관을 원수, 오연총을 부원수로 임명하고, 같은 해 12월부터 여진정벌을 단행하였다. 고려는 12월 14일 이후에 여진정벌을 단행했는데, 당시 고려가 차지한 영역은 동쪽으로는 화곶령(火串嶺), 북쪽으로는 궁한이령(弓漢伊嶺), 서쪽으로는 몽라골령(蒙羅骨嶺)까지였다.

고려가 여진 정벌에 동원한 병사의 수는 약 17만 명이었다. 이 때 참여한 별무반의 인원도 상당하였을 것으로 판단된다. 별무반이 참여한 사례로는 신기군으로 참여한 민영(閔瑛)의 경우를 들 수 있다. ｢민영묘지명(閔瑛墓誌銘)｣을 보면, 그는 아버지 민효후가 동계병마판관(東界兵馬判官)이 되어 여진인들과 싸우다 사망하자, 이를 한으로 여기고 예종에게 간청하여 신기군이 되었다. 그는 출전하는 여진과의 전쟁 때마다 매번 선봉에 나서 말을 타고 돌격하여 적을 사로잡고 물리친 것이 한두 번이 아니었다고 한다.

하지만 여진의 반격도 만만치 않았다. 1108년(예종 3) 1월에는 윤관과 오연총이 거느린 군사가 가한촌(加漢村) 병항(甁項)에서 여진에게 포위되어 고려병사들이 다 흩어지고 10여 명 만이 남아 척준경(拓俊京)의 구원으로 윤관이 간신히 살아남았으며, 같은 해 5월에는 여진이 27일간이나 웅주성이 공격을 받았다. 또한 같은 해 8월에 신기군 박회절(朴懷節) 등이 여진과 길주에서 싸우다 전사하기도 하였다. 해가 바뀐 1109년 1월에도 동계행영병마록사(東界行營兵馬錄事) 왕사근(王思謹)과 하경택(河景澤) 등이 함주에서 전사하였다.

전쟁이 불리하게 돌아가는 상황에서도 예종의 별무반에 대한 깊은 관심은 유지되었다. 예종은 재위 4년인 1109년 1월과 2월에는 신기군을, 3월에는 정노반군(精弩班軍)을 점검하였다. 주력부대인 별무반을 격려하며 사기를 북돋웠던 것으로 여겨지는데, 결국 고려가 1109년(예종 4) 7월 3일 여진의 사신 사현(史顯) 등에게 9성을 돌려 줄 것을 약속하면서 마무리가 되었다.

여진과의 전쟁이 끝난 후에도 예종은 별무반에 특별한 관심을 가지고 있었다. 1109년(예종 4) 8월에 신기군사가 동계로부터 돌아왔다. 왕이 중광전 서쪽 누대에 거동하여 그들을 위로해 이르기를 “동쪽 전쟁의 패전은 장수의 허물이다. 짐이 어찌 너희들의 노고를 잊으랴.”라고 하면서 별무반에 대한 신뢰와 애정을 드러냈다. 예종의 이러한 태도는 다음 해의 기록들에서도 볼 수 있다. 1110년(예종 5) 1월에 예종은 중광전 남루에서 신기군의 격구를 관람하였으며, 같은 해 9월에는 남명문에 나가 신기ㆍ신보ㆍ정노ㆍ도탕의 장군들을 사열하고 이어서 신기군으로 공을 치게 하고, 물품을 차등 있게 내려주었던 것이다.

하지만, 별무반은 여진정벌을 위한 특수 목적으로 조성한 군대였다. 그리고 전 국민을 대상으로 한 징병제이다 보니, 오랜 기간 존속시키기에는 경제적으로도 쉽지 않았을 것이다. 따라서 여진정벌이 마무리된 시점에서는 어떠한 식으로든 별무반은 제도와 운영의 측면에서 변화가 불가피했을 것이다. 하지만 예종대 이후 별무반이 어떻게 변화되고 운용되었는지에 대해서는 명확하게 드러나는 기록이 없다. 다만 1127년(인종 5)에 인종이 영봉루(靈鳳樓)에 나와 개경과 서경의 신기군에게 격구를 하게 하였다 는 기록과 1168년(의종 22)에 의종(毅宗)이 서경의 부벽루(浮碧樓)에 나가 신기군의 말타고 재주를 부리는 농마희(弄馬戲)를 관람하고, 백금 2근을 하사하였다 는 기록이 있는 정도가 보이고 1177년(명종 7)에 금(金) 사신을 경호하기 위해 관군과 신기군(神騎軍) 80명이 동원되었다 는 기록이 찾아지는 것을 보면, 적어도 신기군은 명종(明宗)대까지는 존재했던 것으로 추정된다. 신기군 외의 다른 조직과 관련해서는 1132년(인종 10) 3월에 기군과 보군을 단봉문 밖에서 사열하였다 는 기록을 통해 추정해 볼 수 있다. 이때의 기군과 보군은 신기군과 신보군으로 이해되기 때문이다. 이때의 기군과 보군이 예종 대와 동일한 구성이었는지는 알 수 없지만 유지는 되고 있었던 것으로 짐작해 볼 수 있다.