По национальности - латыш, выходец из небогатой семьи. Закончил Берлинское художественное училище. Принимал участие и был ранен в первую империалистическую войну. Февраль 1917 года встретил в одном из госпиталей Петрограда. Был назначен командиром дивизиона легких орудий латышской советской артиллерийской бригады в Москве. Член ВКП(б) с 1918 года. Принимал участие в ликвидации левоэсеровского мятежа. Штатный сотрудник ЧК-ОГПУ с 1921 года. Был «дивизионным интендантом». Затем был переведен на хозяйственную работу в Высший совет народного хозяйства. Осенью 1926 года Э.П. Берзин побывал с проводником в Чердыни и на Вишере. Облюбовал место на Вижаихе и обратился в Госплан с предложением о строительстве Вишхимза, и отстоял свою идею, по замыслу которой Вишхимз должен был стать комплексом бумагоделательных, химических предприятий на Вишере, где в избытке имелись лес, вода, известняк.
В апреле 1930 года началось строительство Вишхимза. Э.П. Берзин был не только директором Вишхимза, но и начальником 4-го отделения соловецких лагерей особого назначения (СЛОН) на Вишере. Завод построили за 18 месяцев. С 1931 года Вишерский комбинат начал выпускать высокосортную бумагу, Э.П. Берзин был награжден орденом Ленина.
В этом же 1931 году Берзина перевели на Колыму и назначили директором Дальстроя и начальником Северо-восточных исправительно-трудовых лагерей. Зимой 1937 года был вызван в Москву, а по дороге арестован. В марте 1938 года был расстрелян. Реабилитирован 4 июля 1956 года.
Его имя носят улицы в городах Красновишерск, Магадан, Анадырь, Билибино, Усть-Белая. Перед зданием мэрии г. Магадан в 1989 году установлен бюст Э.П. Берзину. В 2002 году в Красновишерск приезжала его внучка Ася Григорьевна Берзина с двумя своими детьми, в 2017 году – правнучка Мария.
В связи с событиями последних лет отношение к истории 30-50-х годов ХХ века и к людям-руководителям того времени неоднозначное. Но красновишерцы, помня о вкладе Берзина и его соратников в развитие края и города, который в основе своей начинался ими и до мелочей был продуман как удобный для жизни город, высоко оценили эти заслуги, и в 1967 году Берзину Э.П. первому присвоено Звание «Почетный гражданин города Красновишерск».