Виктор Громов родился 5 февраля 1881 года в старинном знатном роду. Его мать, Екатерина Волконская (1846–1898), была правнучкой племянницы ближайшей фрейлины Екатерины Великой – Марьи Перекусихиной. Отец Виктора, Дмитрий Громов (1835–1909), был купцом в пятом поколении. Он был единственным ребёнком в семье.
В возрасте 11 лет Виктор потерял мать, и до совершеннолетия его воспитывали гувернантки и няньки. Когда ему исполнилось 18 лет, Дмитрий Громов отдал его в Московский государственный университет имени М.В. Ломоносова, где Виктор изучал военное дело. Там он познакомился с поэтом Андреем Белым, который привил ему любовь к литературе. Благодаря общению с ним Виктор понял, что хочет посвятить свою жизнь писательству.
В годы его юности было модно направление «модерн». Прочитав роман Кнута Гамсуна «Голод» (1890), Виктор решил стать писателем-модернистом. Его первая книга «Дитя порока» вышла в 1900 году в журнале «Иностранная литература». Литературные критики разгромили её, раскритиковав идею, стиль написания и орфографию. Однако обычный люд принял рукопись на ура. Так Виктор Громов усвоил первый урок: «Можно написать любую ерунду, обязательно найдётся читатель».
В период с 1910 по 1917 годы Виктор Громов уже стал популярным писателем, сменив несколько жанров и направлений. Но любовь критиков так и не нашёл. В 1909 году умер отец Виктора Дмитрий Громов, и он унаследовал семейную усадьбу в деревне Алешня. Через месяц он нашёл покупателей и продал родовую усадьбу, а на вырученные деньги купил большую квартиру в Москве. На данный момент он живёт хорошо и припеваючи.