김사형은 1341년(충혜왕 복위 2)에 안동(安東) 김씨 집안에서 태어났다. 고조할아버지가 첨의중찬(僉議中贊) 김방경(金方慶)이고, 할아버지는 첨의정승(僉議政丞) 김영후(金永煦), 아버지는 김천(金蕆)이다. 그의 자는 평보(平甫), 호는 낙포(洛圃)이다. 번성한 가문에 힘입어 음서로 관직 진출했고, 주요 관직을 두루 거쳤다.

김사형은 이성계의 추대에 참여하여 개국공신(開國功臣)이 되었고, 문하시랑찬성사(門下侍郞贊成事), 문하우시중(門下右侍中) 등을 역임하여 태조대의 정국을 주도하였다. 그리고 제1차 왕자의 난에서는 조준과 함께 백관을 거느리고 적장자의 왕위 계승을 청하였으며, 그 공으로 정사공신(定社功臣)에도 책봉되었다. 태종 즉위 이후에는 좌정승, 영사평부사(領司平府事)를 역임했다. 1402년(태종 2) 병으로 사직하기를 청하여 관직에서 물러났으며, 상락부원군(上洛府院君)의 작호를 받았다. 1407년(태종 7)에 사망하였으며, 묘는 경기도 양평군 양서면에 있다. 시호는 익원(翼元)이다.

김사형은 1341년(충혜왕 복위 2) 명문세족 가문에서 태어나 음서로 관직생활을 시작하였다. 대간직까지 임명되었음에도 불구하고 급제 기록이 확인되지 않는 것으로 보아, 추후 과거에 응시하지는 않은 듯하다.

그는 감찰규정(監察糾正), 고공산랑(考功散郞) 등을 거쳐 1377년(우왕 3)에는 사헌부 집의(執義)를 역임하였다. 그리고 1388년(창왕 1) 안렴사(按廉使)가 도관찰사(都觀察使)로 바뀌며 중앙에서 지방 행정에 대한 관리 감독을 강화해 나갈 때 김사형은 교주·강릉도 도관찰사(交州江陵道都觀察使)에 임명되었다.

이후 『고려사』 열전에 따르면, 사헌부 집의였을 때는 “세상이 인재를 얻었다.” 도관찰사 시절에는 “공명정대하고 위엄과 은혜를 베풀어 많은 칭송을 받았다.”는 평가를 받았다.

고려 공양왕 대에는 왕조 교체를 둘러싼 대립이 점차적으로 가열되고 있었다. 정치적 입지가 불안했던 공양왕은 서운관의 건의에 따라 한양으로 천도하고자 했고, 이에 지문하부사 겸 사헌부 대사헌의 직임에 있던 김사형은 강력 반대하였다. 그의 반대에도 불구하고 천도는 단행되었지만, 1391년(공양왕 3) 2월에 대략 반 년 만에 개경으로 돌아갔다.

김사형은 윤이(尹彛)·이초(李初) 사건 관련자들에 대해서도 탄핵하였는데, 그의 주된 논지는 우현보(禹玄寶) 등에 대한 축출이었다. 이 무렵 그는 정몽주(鄭夢周)와도 정치적으로 견해를 달리 했다. 정몽주는 윤이·이초 사건으로 처벌된 사람들에 대해 재론하지 말 것을 주장했으나, 김사형은 정몽주를 ‘불충(不忠)’으로써 탄핵하였다. 그리고 정몽주가 이방원에 의해 제거된 후 그 세력을 국문하고 처벌하는 데에도 참여하였다. 이후 김사형은 삼사좌사(三司左使)에 임명되었고, 그로부터 한 달 뒤 고려는 멸망하였다.

김사형은 조준(趙浚), 정도전(鄭道傳) 등과 함께 이성계의 저택으로 가서 왕위에 오를 것을 권하였고, 조선 건국 후 개국 1등 공신에 책봉되었다. 이때 그의 나이는 52세였고, 개국공신의 위차(位次)는 배극렴(裵克廉), 조준에 이어 세 번째였다.

조선 건국 이후 김사형은 문하시랑찬성사, 문하우시중 등을 역임하며 권력의 핵심이 되었다. 태조 재위기의 대부분은 좌정승 조준, 우정승 김사형, 판삼사사 정도전 등이 중심이 된 권력 구조가 형성되었다고 볼 수 있다. 그들은 명에 건국 사실을 알려 새로운 사대 관계를 구축하고, 천도(遷都)를 단행하고, 노비 변정을 추진하는 등 제반 체제의 확립에 노력하였다.

1396년(태조 5) 12월 김사형은 오도병마도통처치사(五道兵馬都統處置使)가 되어 일기도(一岐島, 나가사키 이키시마)·대마도(對馬島 쓰시마) 공격을 총괄하기도 했다. 고려 말 조선 초 우리나라의 왜구 대책은 교섭과 회유를 시행하면서도 몇 차례 대마도를 공격하여 압박하는 식이었다. 당시 김사형의 군대가 어떻게 전투를 벌였는지는 세세하게 기록되어 있지는 않다. 다만 출정 이후 왜인 구육(㡱六) 등이 항복하였다는 내용이 있고, 투항해 온 왜적이 지울주사(知蔚州事) 이은(李殷)을 납치한 것에 대해 관련자들을 치죄하는 기록이 있다. 그리고 김사형이 귀환했을 때 태조가 직접 흥인문(興仁門, 흥인지문) 밖까지 거둥하여 맞이하였음 을 볼 때 일정한 성과가 있었을 것이라 여겨진다.

1398년(태조 7) 제1차 왕자의 난으로 인해 권력관계는 크게 변화하였다. 이방원을 비롯한 신의왕후(神懿王后) 한씨(韓氏) 소생 왕자들이 권력을 장악하였고, 세자 이방석(李芳碩)을 비롯하여 정도전, 남은(南誾) 등의 관료들이 죽임을 당했다. 태조 이성계도 왕위를 정종 이방과(李芳果)에게 넘겨주었다.

변란 당시 『태조실록』의 기록을 보면, 좌정승 조준과 우정승 김사형은 변란의 주도권이 이방원에게 거의 넘어간 이후에 갑옷을 입은 수행원들을 이끌고 이방원 앞으로 나아가 변란의 명분에 동의하는 것으로 서술되어 있다. 그리고 좌정승 조준, 우정승 김사형은 백관을 거느리고 궐에 나아가 후계로 적장자(嫡長子)를 세울 것을 청하여 정사공신 1등에 책봉되었다. 이후 조준과 김사형을 주축으로 하는 국정 운영 체제는 한동안 이어졌지만, 사실상 실질적인 권력은 이방원에게 집중되었다고 할 수 있다.

김사형은 1399년(정종 1) 건문제(建文帝)가 즉위하자 하륜(河崙), 설장수(偰長壽) 등과 함께 명 사행길에 나서기도 했다. 그리고 약 6개월 간의 사행을 마치고 돌아와서 그해 말에 조준, 김사형은 모두 사직을 청하였다. 이후 김사형은 상락백(上洛伯), 판문하부사(判門下府事)을 거쳐 태종 즉위 후 다시 좌정승의 직에 올랐다. 수차례 병으로 사직하였음에도 불구하고 태종 집권 초기에는 정치 운영의 중심에 있었다.

1402년(태종 2)에는 상락부원군(上洛府院君)이 되어 정계 일선에서 거의 물러났다. 1404년(태종 4)에 반역죄를 입은 이거이(李居易)·이저(李佇) 부자의 처벌 요구에 참여한 외에는 별다른 활동을 나타내지 않았다. 그리고 1407년(태종 7)에 67세의 나이로 세상을 떠났다.

『태종실록』의 졸기(卒記)에, 김사형은 음보로 관직에 나아갔음에도 문무 겸전의 능력을 갖춘 데다 중후하고 모난 것이 없는 인물로 기록되어 있다. 그리고 김사형은 약 8년간 조준과 함께 정승으로서 정치 운영을 하였는데, “조준은 강직하고 과감하여 거리낌 없이 국정을 전단(專斷)하고, 김사형은 너그럽고 관대한 자세로 그를 도왔다.”는 평가를 받았다. 그러한 성품 때문인지 그는 고려 말 조선 초의 정치 변동을 겪으며 한 번도 탄핵을 당하지 않았다고 한다.

그러나 김사형은 오랫동안 태조대의 중신으로 활약했음에도 불구하고 1410년(태종 10)에 논의된 태조의 배향공신 선정에서 배제되었다. 당시 의정부의 의견은 “김사형은 가문이 귀하고 현달하며, 심성이 맑고 고결하기 때문에 태조께서 중히 여기셨습니다. 그러나 개국의 모획(謀劃)에는 참여하지 않았고, 또 모든 정사의 처리를 한결같이 조준만 따르고, 가타부타 하는 일이 없었다.”는 내용이었다.