고려 초에는 사헌대(司憲臺)라고 하였다가 995년(성종 14)에 어사대(御史臺)로 명칭을 바꾸었다. 1014년(현종 5) 김훈(金訓) 등이 무신난을 일으키자 금오대(金吾臺)로 고쳤다가, 이후에도 몇 차례 명칭을 변경하였다. 1275년(충렬왕 1) 관제 격하 당시 감찰사(監察司)로 개칭되었으며, 그 뒤 몇 차례 명칭이 바뀌었다가 공민왕(恭讓王, 재위 1389∼1392) 대에 사헌부(司憲府)로 개칭되었다.

어사대의 관원인 대관(臺官)은 중서문하성(中書門下省)의 낭사(郎舍)인 간관(諫官)과 더불어 대간(臺諫)을 구성하여 인사에서 서경(署經)도 함께 담당하였다. 간관은 청요직(淸要職)으로 인식되어 중시되었고 선발 자격도 엄격한 편이었는데 언쟁을 담당하는 만큼 간언을 빌미로 함부로 처벌받지 않았으며, 면계(面啓) 등의 특전이 주어졌다.