서원은 대체로 세속에서 벗어나 공부에만 전념할 수 있는 곳, 풍수지리적으로 좋은 곳, 절터 또는 퇴락(頹落)한 사찰이 있던 곳, 배향하는 선현의 연고지(고향, 출생지, 처가, 본관, 거주지, 묘소, 사망지, 유배지, 관리 취임지, 경유지 등)에 세웠다. 또한, 서원에 모신 선현이 살아 있을 때 세운 서당이 발전하여 서원이 된 경우도 있다.
서원의 건축물은 크게 사당, 서당, 동재와 서재로 구성되어 있다. 사당은 선현의 제사를 지내는 곳이고, 강당은 교육을 실시하고 집회를 여는 장소이며, 동재와 서재는 원생(院生)들이 숙식하는 건물이다. 사당은 맨 뒤쪽에, 강당은 중심에, 강당 앞 양쪽에 원생과 손님이 숙식하는 동재와 서재를 배치하였다. 이 외에 문집이나 서적을 펴내는 장판고(藏版庫), 책을 보관하는 서고(書庫), 제사에 필요한 기구를 보관하는 제기고(祭器庫), 서원 관리와 식사 준비 등을 담당하는 고사(庫舍), 시문을 짓고 대화를 주고받는 누각(樓閣) 등이 있다.
남계서원도(藍溪書院圖)
건물은 문묘나 향교와 유사하여 남북의 축을 따라 동서 대칭으로 배치하였다. 남쪽에서부터 정문과 강당·사당 등을 배치하고 사당은 별도로 담장을 두른 다음 그 앞에 삼문(三門)을 두어 출입을 제한하였다. 이 부근에 제사를 위한 제기고가 놓이고, 강당의 앞쪽 좌우에 동재와 서재를 두었으며, 강당 근처에는 서고와 장판각(藏板閣) 등이 배치되었다. 고사(庫舍)는 강학 구역 밖에 배치하는 것이 일반적이었다. 서원은 사당과 강당이 주 건물이며 그 방위는 동향이나 남향이 원칙이었다. 서원이 동향일 때는 강당을 중심으로 유생들의 공간을 남·북재로 구성하고, 남향일 때는 동·서재로 배치하였다. 남재와 동재에서 생활하는 유생이 북재와 서재에 있는 유생보다 먼저 들어왔거나 정원 안에 정식으로 포함된 원생이었다.
서원 규모는 일정하지 않았지만 소수서원은 사묘와 좌우 서재를 합하여 30여 칸, 이산서원은 강당, 동서재, 문, 측당을 합하여 32칸, 영봉서원(迎鳳書院)은 50여 칸 정도였다. 건축물은 검소함을 강조하여 단순하게 지었으며 사당에만 단청(丹靑)을 하였다. 경내의 정원에는 꽃과 낙엽수를 심고, 경외에는 소나무, 대나무, 오동나무 등을 심어 충절을 상징하였다. 담장을 둘러 외부 공간과 구획을 지었지만 높이를 높지 않게 하거나 일부를 터놓아 자연과 조화를 이루게 하였다. 안에서 밖을 내다볼 때 산수를 접할 수 있도록 계획한 것이 서원 건축의 특징이었는데 대표적인 곳이 옥산서원(玉山書院)과 병산서원(屛山書院)이다.