1920년 봄 전국 각지에서 청년단체들이 우후죽순처럼 설립되자 서울의 각계 지도자들은 하나의 통일된 지도기관의 필요성을 인식하였다. 그들은 독일과 일본 등지에서 국가가 직접 청년단체를 조직·지도하고 있으며, 이러한 청년단체들이 국난극복과 지방발전에 크게 공헌한 사실에 주목했다. 그런데 조선에서는 각지에서 청년단체가 발생하여 지방발전에 노력하려 하지만 국가가 없어서 지도와 후원을 받지 못하고 있는 상황이므로 바로 청년단체의 통일된 지도기관이 부족하나마 그러한 역할을 담당해야 한다는 생각이었다.⁶³⁵⁾ 吳祥根(조선청년회연합회 집행위원장),＜지방 청년단체 발전책＞(≪동아일보≫, 1921년 2월 25일).

　1920년 6월 28일 서울에서 각계 인사 53명이 모여 조선청년회연합회기성회를 발기하였다.⁶³⁶⁾＜연합회 휘보＞(≪아성≫1, 1921년 3월), 85쪽. 발기자들 가운데는 부르주아 자유주의적인 민족운동자와 함께 사회주의적 성향의 활동가들이 한데 어우러져 있었다. 청년회연합회기성회의 취지가 신문에 발표된 뒤 113개의 지방청년단체가 기성회에 가입수속을 밟았다. 이를 바탕으로 지방 청년단체의 정대표 76인과 부대표 39인이 참석한 가운데 1920년 12월 1일 발기총회를 가진 뒤 12월 2일 창립총회를 열어 朝鮮靑年會聯合會가 정식으로 결성되었다. 대회에서는 7개의 강령과 함께 모두 13장 30조의 헌장이 통과되었다.

　창립 당시 가입단체는 121단체였다. 헌장에 따르면 청년회연합회의 가입자격은 연합회의 주의·강령에 적합한 30명 이상의 회원을 가진 조선인 청년단체로 하였다. 그런데 연합회는, 헌장 제5장 제8조에서 ‘가입 청년단체는 각기 독립단체로 존재한다’고 규정함으로써 전국적인 청년단체의 연합체임을 내세웠음에도 일종의 협의기구 내지 연락기구의 성격을 가질 뿐 중앙집권적인 전국적 통일조직으로 보기에는 어려웠다. 청년회연합회가 집행위원제를 채택하면서도 지방 청년단체의 대표들로 구성된 의사회를 설치한 것은 이러한 상황을 반영한 것이었다.

　청년회연합회의 지도자들은 청년의 힘을 모으고 청년단체가 발전할 수 있도록 지방의 청년단체가 합법성을 획득할 것을 요구했다.⁶³⁷⁾ 吳祥根,＜지방 청년단체 발전책＞(≪동아일보≫, 1921년 2월 25일). 그렇게 함으로써 많은 청년들을 청년단체에 끌어들여 계몽하고 이를 바탕으로 청년회연합회의 사업을 대중적으로 확산시키고자 했다.

　청년회연합회는 당시 서울에서 조직된 조선노동공제회와 함께, 단순한 청년운동 지도단체가 아니라, 초기 국내의 전국적인 민족운동단체의 위상을 가지고 있었다.⁶³⁸⁾ 사회주의자 鄭栢은 조선청년회연합회에 대해 ‘3·1운동의 유산’으로 민족운동자와 정치적 지향의 인물들이 그 중심을 이루고 있었으며 민족주의를 기조로 한 부르주아 자유주의사상이 일관하고 있었다고 평가했다(정백,＜조선청년운동의 금석－과거 1년을 회고하야＞,≪조선일보≫, 1925년 1월 1일). 이러한 점은 당시 李商在가 “지금까지 黨規와 黨議가 있는 조선인의 黨이 없기 때문에 당파가 형성되는 것이었다”고 비판하면서 조선청년회연합회에게 조선에서 통일된 당의 역할을 해줄 것을 요구했던 점에서도 잘 알 수 있다. 하와이에서 열린 범태평양교육회의에 참가한 申興雨는 조선청년회연합회가 ‘조선의 중심단체로서 통일기관’임을 외국 사람들에게 알리기도 했다.