Будущий драматург появился на свет в Москве. Его отец, Роберт Карлович, обрусевший балтийский немец и лютеранин по вероисповеданию, работал бухгалтером фабрики «Товарищества шёлковой мануфактуры». В девять лет Николай начал писать стихи. Он окончил Петропавловское реальное коммерческое училище, и очень рано примкнул к группе имажинистов, благодаря своему брату, художнику Борису Эрдману, дружившему с Сергеем Есениным и Анатолием Мариенгофом. В 24 года Николай Эрдман написал свою первую пьесу «Мандат», принесшую ему признание.