최익현은 충청남도 정산군(定山郡) 사람으로 면암(勉庵)이라고 불렸으며, 유생들 간에 명망 있는 노유(老儒)였다. 그는 신협약(新協約) 체결 당시에 경성(京城)에 있으면서 격문(檄文)을 전 도(道)에 배포하여 크게 반대론을 고취시켰는데, 39년 5월에 전라북도 사람 임병찬(林秉瓚)과 모의하여 그 무리 백 수십 명을 소집하고, 병기와 탄약을 비축하여 관아를 습격하고 세금을 약탈하였다. 그러나 얼마 지나지 않아 순창(淳昌) 【전라북도】 부근에서 관병에게 격파되어 최익현, 임병찬 이하 모두가 투항하였다. 그리하여 수괴 최익현을 감금(監禁) 3년, 임병찬을 감금 2년에 처하고, 최익현의 감금은 쓰시마섬(對馬島)에서 집행하였는데, 그는 이듬해에 병을 얻어 귀양지에서 세상을 떠났다. 위의 경우들 외에도 지방에 분산되어 있던 불량한 무리들은 배일(排日)의 명분을 빌려, 화적(火賊)들과 연합하여 약탈을 자행하고 인명을 해쳐 도처에 경계(警戒)를 전하는 일이 빈번하였다. 이러한 형세가 되었으므로, 메이지 40년 【광무 11년】 5월에 박제순 참정대신을 비롯한 여러 대신들이 모두 그 직(職)을 사임하고, 이완용이 대신 참정대신에 임명되었으며, 동시에 임선준(任善準)은 내부대신에, 이병무(李秉武)는 군부대신에, 이재곤(李載崐)은 학부대신에, 고영희(高永喜)는 도지부대신에, 조중응(趙重應)은 법부대신에, 송병준(宋秉畯)은 농상공부대신에 임명되었다. 의정부를 고쳐 내각(內閣)이라고 부른 것은 이때였다. 송병준은 일진회(一進會)의 수령으로 성망(聲望)이 있었는데, 바야흐로 각료의 반열에 올라 국정을 집행하게 되었다.