罗文祖籍广西桂平，生于广西省百色县，本名谭百先。出生年份一说为1944年，一说为1945年，一说为1950年；月日则为农历腊月三十。罗父毕业于上海的大学，任职于广西银行，罗母毕业于广州的中山大学。罗文有一姊一妹。
罗文出生后，跟随父亲到广州定居。后罗文一家随广西银行总部迁往香港，直到1949年，时局稳定后，罗父希望回广州生活，于是辞去银行职务，改到广东省建筑公司任会计，罗文随家人从香港移居广州，住在解放北路，常与姐妹观看政府举办的音乐会演出。
罗文就读的小学一作德宣西路小学，一作北区的第六小学；期间因喜爱电影《护士日记》主题曲《小燕子》，崇拜演唱者王丹凤，逐渐萌发了投身歌唱事业的念头。然后他在盘福路的广州市第二十七中学（后改为广州市越秀外国语学校，现广东实验中学越秀学校）就读初中，期间曾加入青年文化宫的业余歌舞团。受爱好粤剧的母亲熏陶，初中毕业后想报考粤剧学校，但被其以超龄为由拒绝录取。但他后来曾向粤剧老倌名伶罗家宝的父亲兼罗家英的四伯父罗家树拜师，学习粤剧曲艺功架，为未来的舞台演绎打下了功底。
据罗文在1992年的访问，罗父在1956年及后中风逝世，罗母此时罹患鼻咽癌，便以13岁之龄投靠香港的亲戚，过海关时把年龄报大5岁以获得工作所需的身份证。据其姐谭文玉在罗文逝世后接受的访问，罗母患癌是1960年代，而罗文来港是1962年，原因是考不上粤剧学校，前途迷茫，以及中国放松了的移民政策，容易申请去香港。罗文在香港的首份工作是在亲戚的裁缝店帮忙。后来他又从事过荔园游乐场职员、戏院带位、银行见习生等基层工作。在银行工作期间，晚上攻读英文。
