特别喜欢喝酒，不拘小节。他家院子南边的墙外长着一株古槐，生得枝繁叶茂。有一天，淳于棼和朋友们在槐树下喝酒，喝得大醉，被两个朋友扶进屋去，躺下休息，两个朋友则坐课外讲堂在一旁洗脚。
朦朦胧胧之中，淳于棼看见有两位紫衣使者走了进来，邀请他到槐安国去做客。于是他随使者出了门，登上车，一会儿就进入了一个洞穴。顿时，晴天丽日、山川旷野、城郭村庄尽在眼前，就好像来到一个新的世界。淳于棼进了王宫，见到了槐安国的国王。国王与他亲切交谈，表现出很欣赏他才干的样子。不久，国王任命他为“南柯太守”，并且把公主嫁给了他。淳于棼很快就成了那个国家的显贵，权倾朝野。他在槐安国做了三十年大官，政绩突出，很受百姓拥戴，国王也很器重他。这时，他已有五男二女，生活过得十分美满。不料，檀萝国突然入侵，国王令他领兵出征。由于他不懂军事，仓促应战，被檀萝国军队打得大败而逃。回来之后，他发现妻子已经去世，国王也不再信任他了，后来还罢免了他的官职，将他软禁一段时间后，又把他遣送回了老家……
至此，淳于棼才惊醒过来，发现原来是一场梦。他看见此时太阳还没落山，睡前喝剩的酒还在桌上放着，两个朋友的脚还没有洗完。淳于棼非常奇怪，又回到院外的大槐树下，挖开树洞一看，见里面有个大蚂蚁穴，一群蚂蚁聚居在穴里，其中有两只特别大，被几十只小蚂蚁保护着；穴中还有泥土堆成的楼阁、小城。淳于棼想：大概这就是槐安国的王宫吧。王宫外面有一条孔道，往上直通南边的一根树枝，大概这就是他当太守的南柯郡。淳于棼不由长叹一声道：“三十年的荣华富贵，原来是南柯一梦啊。

他是个得道高人，懂得很多仙术。一次他在一个旅舍休息，就摘下帽子随意在一张桌子前坐下来。这时来了一个旅途中的少年，名叫卢生。他穿着粗布衣服，正准备去农田里耕作，此刻也在旅舍停下来，和吕翁坐在一张桌子上。二人很快就聊了起来，越聊越投机。
聊的时间长了，卢生看着自己寒酸的衣着，忽然长叹了一声，说：“我堂堂男子汉大丈夫，却生不逢时，生活困窘成这样子！”吕翁说：“我看你的身体不错，没有病痛，而且说话也挺好的，怎么却说自己困窘呢？”卢生摇摇头：“我就是苟且偷生，哪儿谈得上好不好呢？”吕翁说：“这样不算好，那怎样才算好？”卢生回答：“一个读书人活在这世上，当然要建立功名，入朝为官，让家族更加昌盛而富裕，这样才能算得上好啊！我小时候刻苦学习，各门功课都学得不错，还以为长大后能去做官。谁知道现在长大了，却只能在农田里耕种，难道这还不够困窘吗？”
说完这些，卢生越发觉得没意思，就想闭上眼睛睡一会儿。这时店家也在生火准备用黄粱米做饭。吕翁拿出一个枕头递给卢生，说：“你枕着我的枕头睡觉，就能实现你的梦想。”
卢生并不信，但还是把枕头接了过去。枕头是青瓷做的，两边各有一个孔。他侧过头躺在枕头上，看到枕头一边的孔越来越大，光线也越来越明亮。于是他起身走进孔里，这才发现自己不知什么时候已经回家了。
几个月后，卢生娶了一个美丽又富裕的女人为妻，家境也渐渐丰厚起来。他的衣装和车马越来越豪华，第二年还考上进士，入朝为官去了。三年后，他升官到陕西，在那里开拓河道，为百姓解决了交通问题。当地人民为了感谢他，刻下石碑来记录他的功德。他又被调去京城为官，正好有外敌入侵，皇上封他为大将军前去破敌。最后卢生大胜归来，为国家拓展了几百里疆土。
回到京城，皇上为卢生举行了盛大的封赏仪式，他的官职升至户部尚书兼御史大夫，一时之间风光无限。不想却遭到了当朝宰相的嫉恨，宰相故意散布流言蜚语来陷害他，最终卢生被贬官。
三年后，卢生又回到皇上身边，当上了宰相。他在朝中为皇上出谋划策十几年，人人都称他为一代贤相。可这时他又被奸人所害，他们诬陷他和敌国勾结，皇上下令将他关进监狱。卢生害怕极了，说：“我家里有几亩良田，不愁吃喝，为什么要跑来做官呢？现在落得如此田地，还不如当初穿着粗布衣服在田里耕种啊！”
卢生想要自杀，幸好被妻子救了，可是那些受他牵连的人全都死了，他也被流放到边远地区。几年后，皇上才为他平反了冤案，将他重新召回朝廷做官，册封他为燕国公。他的几个儿子也都考取功名，入朝为官，家族日渐壮大起来。
卢生渐渐老了，身体也越来越差。他多次请求告老辞官，皇上却一直不同意。八十岁时，卢生离开了人世。等卢生伸个懒腰再次醒来时，赫然发现自己竟然还在那旅舍里。吕翁仍坐在他旁边，而店家的黄粱饭还没有熟呢！卢生赶紧爬起来，问：“刚才那一切都只是做梦吗？”吕翁点点头：“人生所谓的辉煌，也不过如此啊！”卢生惆怅了好一会儿，才对吕翁说：“谢谢你，让我明白了人生荣辱和得失的道理，让我懂得了生与死的意义。先生教会了我人生在世不能被欲望左右，这就是最好的教诲啊！”说完一再拜谢吕翁后，才离开了旅舍