1275년(충렬왕 1)에 어사대(御史臺)를 고쳐 설치한 기관이다. 관리를 감찰하고 탄핵하며, 당대의 정치를 비판하고 인사에서 서경(署經)도 함께 담당하였다. 감찰사의 관원인 대관(臺官)은 중서문하성(中書門下省)의 낭사(郎舍)인 간관(諫官)과 더불어 대간(臺諫)을 구성하여 청요직(淸要職)으로서 중요시되었다. 어사대에서 감찰사로 개칭된 것은 원(元)의 간섭에 따라 관제를 격하하면서 이루어진 것이어서, 관직의 품계도 함께 낮아졌다.

충렬왕(忠烈王, 재위 1274~1308), 충선왕(忠宣王, 재위 1298, 1308∼1313)의 복잡한 왕위 계승 과정과 공민왕(恭愍王, 재위 1351~1374) 대 관제 개편 과정에서 감찰사에서 사헌부(司憲府)로, 다시 감찰사로 여러 차례 변동이 있었으나 1369년(공민왕 18) 사헌부로 개칭되었으며, 조선 시기에는 사헌부로 그 명칭이 고정되었다.