Музей был основан Макаром Ивановичем Еромленко в феврале 1921 года как музей Кабардинского округа. Ранее он уже создал три музея, для организации музея он был специально переведен в Нальчик из Владикавказа, где работал хранителем музея при Северо-Кавказском институте краеведения. Первоначально музей расположился в доме Вязмитинова, имевшем 7 небольших залов и непригодном для размещения музея из-за сырости. В 1925 году ему было выделено здание в сквере Свободы, а в 1927 году – второе здание, бывший дом начальника Нальчикского округа. После слияния образования КБАО в 1922 году – Музей Кабардино-Балкарской автономной области, с 1936 года – Краеведческий музей Кабардино-Балкарской АССР.