예조(禮曹)에 속한 종6품의 관서로, 연원은 고려 예종(睿宗, 재위 1105~1122) 대까지 거슬러 올라간다. 조선 건국 이후 고려 시대의 제도를 계승하여 혜민고국(惠民庫局)을 설치하였는데, 태종(太宗, 재위 1400~1418) 대 이 명칭을 혜민국으로 변경하였다가, 세조(世祖, 재위 1455~1468) 대 혜민서로 바꾸었다.

혜민국은 한성부의 남부인 태평관(太平館) 근처에 위치하였다. 주로 도성 내 백성들의 치료를 담당하였으며, 조선 초에는 도성 축조에 참여한 지방 출신 역군들과 감옥에 수감된 죄수의 치료도 함께 담당하였다. 종6품의 주부 1명과 의학교수 2명을 두었고 이밖에 9명의 관원을 두었는데, 조선 후기에는 전기에 비하여 그 규모가 다소 줄어들었다. 혜민서에서는 원활한 약재 조달을 위하여 혜민서 소속 의원들을 지방에 심약(審藥)이라는 관원으로 파견하여 약재를 직접 채취하여 진상하게끔 하기도 하였다. 또한 의원뿐 아니라 의녀(醫女)들도 30여 명이 배속되어 있었는데, 이들은 주로 여성 환자들의 진료를 맡았다.

조선 후기에 몇 차례 폐지와 재설치를 거듭하다가 1882년(고종 19) 완전히 폐지되었다.