На первых шести Олимпийских играх современности, с 1896 по 1920 годы, никаких деревень еще не было в помине. Участники самостоятельно должны были позаботиться о своем проживании во время Игр. Идею олимпийской деревни, как и многое другое, придумал барон Пьер де Кубертен, уже занимая пост главы МОК.
На Олимпиаде-1924 в Париже была соблюдена концепция, по которой участники разных команд могли жить в одном месте на удобном расстоянии от стадионов. Тогда же появилось и само название «олимпийская деревня», так как скопление деревянных хижин напоминало именно этот населенный пункт.
Официально первая Олимпийская деревня появилась восемь лет спустя – на Играх-1932 в Лос-Анджелесе. Тогда организаторы соорудили в пригороде Болдуин-Хиллз несколько сотен временных зданий — помимо скромного жилья, столовых и отдельно стоявших душевых там были почтовое отделение и телеграф, театр, больница, пожарная часть и даже банк. Все это было выстроено в форме овала, символизирующего стадион древней Олимпии.