Родился в семье столяра, который был также гусляром. Играл на гуслях и сам Скиталец. Учился в Самарской учительской семинарии, откуда исключён за «неблагонадёжность».
 
Принимал участие в революционном движении, в 1888, 1901, 1902 и 1905 подвергался арестам. С 1908 отошёл от революционной деятельности.
 
С 1897 года сотрудничал в газете, в 1898 познакомился с Горьким, который оказал на него большое влияние.
 
В 1908 году построена дача в Крыму в Байдарской долине (деревня Скели).
 
В 1900-х печатался в сборниках организованного Горьким издательства «Знание», в различных газетах и журналах. Активный участник литературного кружка «Среда». В 1902—1907 вышли три тома произведений Скитальца, в 1912 — ещё 3. В 1916—1919 — собрание сочинений в 8-ми томах.
 
В начале Первой мировой войны отправился санитаром на фронт. Опубликовал несколько очерков и рассказов, в которых выступил с осуждением войны.
 
Положительно отнесся к Февральской революции, Октябрьскую революцию не принял. В 1921 эмигрировал в Китай. С 1922 по 1934 год жил в Харбине. Продолжал активную литературную деятельность, с 1928 публиковался в советских журналах.
 
17 июня 1934 вернулся в Москву. Неоднократно встречался с Горьким, занимался литературной и общественной деятельностью. Принимал участие в работе Первого съезда советских писателей (без права решающего голоса).
 
Умер 25 июня 1941 года. Похоронен на Введенском кладбище в Москве.