금관국(금관가야)이 멸망한 후 가야 제국은 신라에 의해 멸망당할 위기에 처했다. 그중 안라국(아라가야)은 백제의 지원을 받아 가야를 부흥시키고자 하였지만, 백제는 이러한 안라국의 노력에 미온적인 반응을 보였다. 한편, 대가야는 백제와 신라 양국이 가야를 복속하려는 의도가 있다는 것을 파악하고 이에 대응하여 내부적인 통합을 꾀하였으나 이 역시 실패하고 말았다. 결국 가야는 자신들을 적극적으로 병탄하려 하였던 신라에 대항하여 백제의 편에 설 수밖에 없었다. 이후 가야는 백제의 한강 유역 탈환 작전에 참전하였으나, 백제가 신라에 의해 한강 유역을 빼앗기고 관산성 전투(554)에서마저 참패하면서 가야 또한 적지 않은 피해를 입게 된다. 이후 군사적·행정적 정비를 마친 신라가 560년에 안라를 멸망시켰다. 그리고 562년 신라 명장 이사부가 이끄는 신라군의 공격에 대가야가 무너지면서 가야 제국의 역사는 종막을 고한다.

532년 신라에 의해 금관국(金官國, 김해 금관가야)이 멸망하였다. 그리고 10여 년 뒤 탁순국(㖨淳國, 의령)마저 멸망하자 가야(加耶) 제국(諸國)은 그 존립마저 장담할 수 없는 위기 상황에 처하게 되었다. 특히 안라국(安羅國, 함안 아라가야)은 신라와 지리적으로 가까웠던 탓에 다른 누구보다 커다란 위기를 느꼈다. 점차 증대되는 신라의 압박에 안라국은 적극적인 대응에 나섰다.

한편, 이 무렵 북쪽의 대가야(大伽倻, 고령)는 섬진강 방면의 4개의 현과 기문(己汶)·대사(帶沙) 지역을 두고 백제와 분쟁을 벌이고 있었다. 백제와의 대립이 심해지자 대가야는 서쪽의 백제를 견제하기 위해 동쪽의 신라에 접근하여 관계를 맺고자 하였다. 그러나 신라에 의해 금관국 등이 멸망하자 대가야는 신라마저도 신뢰할 수 없게 되었다. 그 결과 대가야는 백제와 신라 양측 모두와 대립각을 세우는 상태가 되었다.

신라로부터 압박을 강하게 받고 있던 안라국은 대책을 마련해야만 했다. 결국 안라국은 백제·신라와 대립하고 있는 대가야를 배제하고 백제와의 화의를 통한 외교적 대응에 주도적으로 나서는 한편, 가야 제국 간의 결속을 다지고자 하였다. 내부적으로 현재의 상황에 대한 위기의식을 공유하며 공동 대응하기로 한 안라국과 가야 제국은 백제에게 직접 도움을 요청하게 된다.

안라국을 중심으로 한 가야 제국의 사절단은 541년 과 544년 두 차례에 걸쳐 백제의 성왕(聖王)에게 직접 찾아가 군사적 도움을 요청하는 회의를 열었다. 이른바 임나부흥회의(任那復興會義) 혹은 임나복건회의(任那復建會議)라고도 부르는 회의가 그것이다. 이 회의에는 당시 가야 제국의 10개국 중 7~8개국이 참여하고 있었는데, 이를 통해 당시 가야 제국의 위기의식이 얼마나 심각했는지를 보여준다. 하지만 회의의 당사국이었던 백제와 가야 제국 간에 위기 해결 방안을 두고 이견만 노정될 뿐, 가야 제국이 의도한 회의의 본래 목적을 달성하기는 어려웠다.

가야 제국은 백제의 군사적 지원을 보장받고 신라에 대해 공동 대처하는 것이 급선무라 판단하였다. 따라서 백제와의 회의를 통해 가야의 존립을 보장 받기를 바라고 있었다. 그러나 백제로서는 고구려의 군사적 위협에 맞서 가장 중요한 동맹 세력이었던 신라의 존재를 적대세력으로 돌릴 수 없었다. 이에 백제는 오히려 가야가 신라와 백제에 대하여 이중적인 자세를 보인다며 비난하였다. 그리고 가야 제국의 요구에 대하여 근초고왕(近肖古王) 시절의 백제-가야의 관계로 돌아가는 방안만을 고수하였다.

이렇듯 백제와 가야 제국의 입장이 서로 달랐기에 2차에 걸친 사비에서의 회의는 아무런 성과도 거두지 못하였다. 오히려 성왕은 적당한 선에서 가야의 요청을 무마하면서 신라에게 사신을 보내 양국의 우호 관계를 재확인하는 등 이중적인 태도를 보였고, 안라를 중심으로 한 가야 세력은 이러한 국제적 실상을 간파하지 못하며 외교적 한계를 드러내고 있었다.

대가야는 안라국이 주도했던 백제-가야 회의에 참여하면서 백제와 신라의 본심을 파악하게 되었다. 그러나 이미 가야 제국을 둘러싼 대외적인 위기에 대가야가 독자적으로 대응할 수 있는 시점은 지나갔고, 가야 제국은 정말 바람 앞에 등불과 같은 처지에 놓이게 되었다. 이제 대가야가 선택할 수 있는 길은 가야 제국 모두의 결속을 통한 결사저항 뿐이었던 것이다. 그러한 가야 제국의 사정을 보여주는 것이 바로 우륵(于勒)이 제작한 가야금 12곡이다.

대가야국의 가실왕(嘉悉王)은 가야금을 제작한 후 여러 나라 말의 성음이 다른 것을 하나로 통일할 방안을 고민하던 중 성열현(省熱縣) 출신의 악사 우륵(于勒)으로 하여금 12곡을 제작하게 하였다. 이것은 아마도 가야 각국에 존재하던 각기 다른 악곡을 하나의 성음으로 통일하려는 시도였을 것으로 보인다. 12곡의 곡명을 보면 그러한 점이 드러나는데, 첫째 하가라도(下加羅都)·둘째 상가라도(上加羅都)·셋째 보기(寶伎)·넷째 달이(達已)·다섯째 사물(思勿)·여섯째 물혜(勿慧)·일곱째 하기물(下奇物)·여덟째 사자기(師子伎)·아홉째 거열(居烈)·열째 사팔혜(沙八兮)·열한째 이사(爾赦)·열두째 상기물(上奇物)로서 이들 각각은 순서에 따라 12개월을 상징한다고 한다. 가실왕이 우륵으로 하여금 12개의 금곡을 하나의 성음으로 만들게 한 것은 곧 하나의 통일성을 갖춘 음악 체계의 구축을 의미한다.

결국 이것은 대가야가 내부적으로 가야 제국의 정치적 통일을 꾀하였던 흔적이라 볼 수 있다. 당시 대가야는 가야 제국에 드리운 대외적 위기를 극복할 수 있는 마지막 수단으로 통합된 ‘단일 정치체로서의 가야’를 지향하였던 것이다. 구체적으로 12곡 중 왕도(王都)로 볼 수 있는 지명(국명)이 ‘상가라도’와 ‘하가라도’ 이렇게 상·하 두 곡으로 설정되었다는 점을 볼 때, 일단 정치적 중심지가 두 곳에 존재하는 단일 연맹체의 결성을 도모했던 것으로 추정된다. 하지만 이처럼 곡명은 통일되었음에도 지명(국명) 그 자체는 그대로 남아있다는 점에서 이러한 대가야의 시도는 통일로 가기 위한 과도기적 조치에 지나지 않았던 것으로 보인다. 각 나라가 기존의 독자적인 기반을 유지하면서 상가라와 하가라 두 세력을 중심으로 한 하나의 통합 세력을 지향한 것으로 상가라가 대가야라면 하가라는 당시 상황에서 볼 때 안라였을 것이다. 그리고 이러한 통합의 움직임은 정치적·군사적 강제력에 의한 것이 아닌 음악을 통해 나타난 어우러진 화음처럼 정상적인 소통과 합의를 통한 시도였을 것이다.

이러한 가실왕의 의도가 드러난 시점은 530년대 무렵으로 점점 강해지는 신라의 군사적 압박에 대응한 자구책의 일환이었다. 그리고 540년대 초에 나온 이른바 ‘임나부흥’이란 구호는 그러한 사정을 반영하고 있었다. 그러나 통일된 정치체의 수립 논의는 별다른 실효를 거두지 못하였던 것 같다. 대외적으로는 백제가 크게 협조적이지 않았으며 가야 제국 내부에서도 결속에 적극적으로 동조하는 세력이 많지 않았기 때문이다. 가야 제국은 대외적인 외교를 통해 해결책을 찾으려 했던 안라와 가야 제국의 대내적인 결속을 주장하였던 대가야로 분열되어 통일된 정치체의 구축은 갈수록 어렵게 되었다. 이러한 상황에서 대가야 내부의 정치적 분열도 한층 심화되어갔다.

대가야는 자국을 중심으로 한 가야 제국의 통합 운동을 진행하는 한편, 내부적인 혁신도 함께 추진하였는데 예악(禮樂)을 중심으로 한 유교문화에 바탕을 둔 개혁적 시책이었다. 그러나 이러한 개혁이 제대로 추진될 기미가 보이지 않자, 대가야왕은 정사(政事)를 방기한 채 주색잡기를 탐하며 음란한 생활에 빠져들었다. 결국 대가야의 정국은 단순한 분열을 넘어 난국으로 치달아 자멸의 기미를 드러내었다. 개혁의 시도는 완전한 실패로 끝나게 되었으며, 그러한 개혁의 상징이었던 우륵은 대가야에 희망이 없음을 깨닫고 540년대 말 신라로 망명하게 된다.

백제는 551년 한강 유역 진출 작전을 단행하였다. 이 작전에는 동맹국인 신라는 물론이고 가야의 병력까지 가세한 연합군이 참전하였다. 연합군의 작전은 크게 성공하여 백제와 신라는 고구려가 차지하고 있던 한강 유역을 탈환하는데 성공하게 되었다. 이 무렵 가야 제국은 자신들의 미래를 전적으로 백제에 맡기게 된 것으로 보인다. 임나부흥회의를 통해 백제의 도움을 받아 재흥하려 하였지만 백제의 소극적인 대응으로 인해 실패하였고, 내부적인 통합마저도 실패하였다. 이러한 상황에서 끊임없이 압박을 가해오는 신라에게 무력하게 복속될 수만은 없었기에 가야 제국은 백제에 의존하면서 생존을 유지할 수밖에 없었다.

그런데 연합군이 한강 유역을 장악한 지 얼마 되지 않아 신라와 고구려가 통교하였다는 소식이 들려왔고 그로 인하여 백제는 장악했던 한강 하류지역을 포기하게 되었다. 그리고 이 틈을 타고 신라는 한강 유역 전체를 장악하게 되었다. 결국 신라와 백제의 동맹 관계는 이를 계기로 파국을 맞이하게 되었고 백제는 한강 유역을 다시 되찾기 위한 계획을 수립한다. 이윽고 554년 가을 백제는 3만 명에 달하는 대병력을 동원하여 신라 공격에 나섰는데, 이때 백제군의 총사령관으로 태자 여창(餘昌)이 출전하였다. 또한 이 싸움을 준비하는 과정에서 백제는 왜에 구원병을 요청하였고 가야의 병력도 동원하였다. 가야의 병력 규모나 역할은 분명히 드러나지 않아 알 수는 없으나 당시 가야의 국력이 상당히 쇠약해진 상태였다는 점을 감안한다면 그리 큰 규모의 병력은 아니었을 것이다.

백제의 주력군은 전쟁 초반 관산성에서 승기를 잡았으나 성왕이 태자와 백제군을 위문하고자 오던 도중 신라군에 사로잡혀 사망하는 사건이 발생하였다. 이 사건으로 인해 백제군의 사기는 급속도로 떨어지게 되었고 그 결과 관산성 전투에서 괴멸에 가까운 패배를 당하게 된다. 이 전투로 인하여 백제는 왕권이 크게 약화되었고 한동안 내부 체제를 단속해야 하는 지난한 시절을 보내게 되었다. 한편 가야도 관산성 전투에 병력을 파견하였기에 적지 않은 피해를 입은 상황이었다.

관산성 전투 이후 신라는 백제 편에 가담하여 신라를 공격한 가야를 멸망시키고자 하였다. 이를 위해 신라는 먼저 행정구역을 정비하고 낙동강 방면에 주치를 재편하는 등 전쟁 준비에 돌입하였다. 그리고 감문(甘文) 방면의 병력을 증강시켜 백제의 가야 지원을 견제함과 동시에 거창 방면으로 대가야의 뒤를 장악하는 전략을 수립하였다. 나아가 비사벌(比斯伐, 창녕)을 거점으로 낙동강을 건너 가야 지역에 진입하는 동시에 대가야와 안라의 연결을 막으려 하였다.

신라는 비사벌과 감문에 병력을 배치한 뒤 550년대 말 본격적으로 가야 공략에 나섰다. 가장 먼저 공격 대상이 된 것은 안라였다. 안라의 멸망 시점은 『삼국사기(三國史記)』 지리지에 따르면 막연히 법흥왕 시대라 하였으나, 임나부흥회의 기록 등을 감안한다면 560년일 가능성이 높다.

가야제국이 공격을 받기 시작하자 백제는 가야를 도와주기 위하여 신라의 변경을 공격하였지만 이렇다 할 성과를 거두지 못한 채 공격은 무위로 돌아갔다. 신라는 백제의 개입을 견제하면서도 가야에 대한 전면 공세를 늦추지 않았고 562년 명장 이사부(異斯夫)를 총사령관으로 삼아 대가야에 대한 총공세에 나섰다. 이 전투를 끝으로 기록에서 더 이상 가야를 찾아볼 수 없게 되었으며, 정치세력으로서의 가야는 완전히 소멸되었다. 결국 가야는 신라에 의해 멸망하고 그 일대는 신라의 영토로 복속되고 말았다. 이후 그 후예들은 백제로 가기도 하였고 혹은 바다 건너 왜로 가기도 하였으나, 대부분은 신라의 주민으로 편입되어 신라인으로서 살아갔다.