İki yaşında iken, babası Hamza Bey'in ölümü üzerine annesi Nefise Hanım ile birlikte İstanbul'a taşındı. Ailesine yardım etmek için okuldan ayrıldı ve çeşitli işlerde çalıştı. Bunların arasında hamallık, tezgâhtarlık sayılabilir. O dönem aynı zamanda boksörlük de yapan Taş, 1947 yılında İstanbul ve Türkiye ikinciliğini kazandı. Yine o yıl askere gitti ve üç yıl askerlik görevini yaptı. Askerden dönünce Cankurtaran’da bir iplik fabrikasında çalışmaya başladı.
Erol Taş’ın sinemaya girişi de o sıralarda oldu. Sinemaya tesadüfi girişini şöyle anlatır sanatçı: "Lütfi Akad o bölgede bir film çekiyordu. Biz de işten kaytarıp çekimleri izliyorduk arkadaşlarla. Günlerce süren çekimlerden birinde mahallede oturan birkaç serseri, film ekibine musallat olup onları rahatsız etmeye başladı. Film ekibini korumak için birkaç arkadaşımla birlikte, serserilerle kavgaya giriştik ve Lütfi Bey'in yanında onlara bir güzel dayak çektik. Serseriler toz oldu tabi. Lütfi Akad daha sonra haber göndermiş bana, 'Bir kavga sahnesi var, gelsin oynasın' diye. Böylece sinema hayatım başladı. Filmdeki rolümü diğer yönetmenler de beğendi ve ardı ardına teklifler gelmeye başladı."
Sinemaya ilk 1957 yılında Mümtaz Alpaslan’ın çektiği “Acı Günler” filmiyle girdi. Başlangıçta filmlerde figüranlık ve küçük roller ile görüldü fakat kısa zamanda yıldızı parladı.
