学生时期曾组织乐队，1976年推出首张英文专辑《Lam》，其后推出过多张广东专辑。他亦曾拍过多部电影，包括《投奔怒海》、《猫头鹰与小飞象》、《三人世界》等。1983年，他凭电影《投奔怒海》中精湛的演出，获提名第二届香港电影金像奖最佳男主角，惜铩羽而归。亦曾在无线电视与汪明荃合作拍摄《不是冤家不聚头》、《四季情》等电视剧。他作风低调（曾被冠以“歌隐”之名），给人沉默寡言的感觉，最令人印象深刻就是他的胡子（他的胡子在1976年开始留的）。

1980年，他凭《在水中央》及《分分钟需要你》两首歌曲在第三届十大中文金曲颁奖音乐会连获两个金曲奖，成为当年的大赢家。而在1994年举行的香港电台第十七届《十大中文金曲颁奖音乐会》上，林子祥获颁“香港乐坛最高荣誉──金针奖”。2003年，林子祥获得CASH音乐成就大奖，是首位唱作人获得此殊荣。

林子祥是创作歌手，他懂得弹吉他及钢琴。他曾创作多首名曲，如《在水中央》、《分分钟需要你》、《几段情歌》、《海市蜃楼》、《追忆》、《谁能明白我》、《这一个夜》等。除此之外，他也多次作出创新突破的尝试。1985年，林子祥的名曲《每一个晚上》，正是由两首中西乐曲《Cats》及《花非花》拼合而成，却不着痕迹，浑然天成。同年，他把二十二首当时得令的流行作品，以高超的编曲技巧组织起来，做出《十分十二寸》这首经典串烧歌，可谓前无古人，更牵起一片串烧歌热潮，后来周润发、朱咪咪、古巨基也曾以类似形式制作串烧歌。而此两首歌曲均得到当年年终乐坛颁奖礼的评审赏识，林子祥凭前者获颁1985年度十大中文金曲金曲奖，后者获颁1985年度十大劲歌金曲金曲奖。

综观整个八十年代，在这十年之间，他共有23首歌曲登上香港电台中文歌曲龙虎榜冠军位置，仅次于谭咏麟的28首。

他也是众多演艺界人士的偶像或最喜爱的歌手，包括徐小凤、梅艳芳、张国荣、刘德华、关之琳、侧田、方力申和吴浩康等等。