고려 성종(成宗) 때 처음으로 중추원을 설치하고 출납(出納), 【왕명의 출납】 숙위(宿衛)와 함께 군기(軍機)의 정무를 담당하게 하였다. 후에 밀직사(密直司)라고 고쳤다.

조선 태조도 역시 고려의 제도에 따라 그와 같은 기관을 설치하고 중추원이라고 불렀다. 정종 2년에 삼군부(三軍府)라고 고쳤으며, 9년에 그것을 폐지하고 다시 중추원을 설치하였으며, 진무소(鎭撫所)를 설치하여 궁궐의 숙위를 담당하게 하였다. 그러나 세조 때 관제(官制)를 고쳐 중추원의 권한을 분산시켰는데, 별도로 승정원을 두어 왕명의 출납을 전임(專任)하게 하였으며, 중추원은 중추부(中樞府)로 명칭을 고치고 그 업무를 정하지 않아 문무(文武) 당상관(堂上官)들 중 임무가 없는 사람을 우대하는 곳이 되었다. 그리고 정종 때 설치한 진무소를 오위도총부로 고쳤으며, 그 권한을 확대하여 병조에 예속시키지 않고 전문으로 군무(軍務)를 담당하게 하였는데, 마치 지금의 참모본부(參謀本部)와 같은 것으로 하여, 군정(軍政)을 크게 쇄신하려고 시도하였다.