1996年，马克·鲁法洛在《魔鬼牙医》、《冒牌高手》等电影中出演了一些小角色。之后，他与编剧肯尼斯·罗纳根进行了一次会面，开始出现在罗纳根所编写的一些舞台剧中。1998年，他凭借在《这是我们的时代》中的表演获得了出演奥斯卡提名电影《你办事我放心》男主角的机会。2002年8月，他出演的《风语者》上映 。2003年12月，他主演的《通奸行为》入围圣丹斯电影节 。2005年，他出演的《宛如天堂》上映 。2010年，鲁法洛主演了《禁闭岛》和《孩子们都很好》两部影片。影片《禁闭岛》讲述莱昂纳多·迪卡普里奥和马克·鲁法洛饰演的警察着手调查一个在禁闭岛精神病院中失踪的女人，两人在调查中发现岛上一连串秘密 。而影片《孩子们都很好》使他获得了第83届奥斯卡最佳男配角提名 。2012年，他出演的《复仇者联盟》上映，他在影片中饰演“绿巨人” 。2013年，他出演的《惊天魔盗团》上映，马克在影片中饰演了一位FBI探员 。同年6月，马克·鲁法洛与格温妮丝·帕特洛领衔主演的生活喜剧片《欢迎分享》曝光首支预告，马克·鲁法洛在影片中饰演一位性瘾者 。2014年第66届艾美奖上，《平常心》获得了最佳电视电影奖 。2014年12月16日，获得美国评论家选择奖最佳男配角奖提名 。2015年12月，凭借《聚焦》提名第22届美国演员工会奖最佳群戏 。