早在五十萬年前的舊石器時代，中國原始人就已經知道利用天然的洞穴作為棲身之所，北京、遼寧、貴州、廣東、湖北、浙江等地均發現有原始人居住過的崖洞。到了新石器時代，黃河中游的氏族部落，利用黃土層為墻壁，用木構架、草泥建造半穴居住所，進而發展為地面上的建筑，并形成聚落。長江流域，因潮濕多雨，常有水患獸害，因而發展為桿欄式建筑。對此，古代文獻中也多有「構木為巢，以避群害」、「上者為巢，下者營窟」的記載。據考古發掘，約在距今六、七千年前，中國古代人已知使用榫卯構筑木架房屋（如浙江余姚河姆渡遺址），黃河流域也發現有不少原始聚落（如西安半坡遺址、臨潼姜寨遺址）。這些聚落，居住區、墓葬區、制陶場，分區明確，布局有致。木構架的形制已經出現，房屋平面形式也因造做與功用不同而有圓形、方形、呂字形等。這是中國古建筑的草創階段。

西元前二十一世紀夏朝建立，標志著原始社會結束，經過夏、商、周三代，而春秋、戰國，在中國的大地上先后營建了許多都邑，夯土技術已廣泛使用于筑墻造臺。如河南偃師二里頭早商都城遺址，有長、寬均為百米的夯土臺，臺上建有八開間的殿堂，周圍以廊。此時木構技術較之原始社會已有很大提高，已有斧、刀、鋸、鑿、鉆、鏟等加工木構件的專用工具。木構架和夯土技術均已經形成，并取得了一定的進步。西周興建了豐京、鎬京和洛陽的王城、成周；春秋、戰國的各諸侯國均各自營造了以宮室為中心的都城。這些都城均為夯土版筑，墻外周以城濠，辟有高大的城門。宮殿布置在城內，建在夯土臺之上，木構架已成為主要的結構方式，屋頂已開始使用陶瓦，而且木構架上飾用彩繪。這標志著中國古代建筑已經具備了雛形，不論夯土技術、木構技術還是建筑的立面造型、平面布局，以及建筑材料的制造與運用，色彩、裝飾的使用，都達到了雛形階段。這是中國古建筑以后歷代發展的基礎。