据专家考证，“小品”一词，晋代已经出现。《世说新语·文学》中有：“殷中军读小品，下二百签，皆是精微。”刘孝标注云：“释氏《辨空经》,经有详者焉，有略者焉，详者为大品，略者为小品。又有人认为后秦高僧鸠摩罗什对《般若经》的翻译，即这类佛经的简本通常称为“小品。”到晚明后期“小品”一词开始普遍地应用于文学，专指某种类型的作品，有用以名集者，如《眉公先生晚香堂小品》（陈继儒）、《无梦集园小品》（陈仁锡）、《文饭小品》（王思任）；亦有用以名各种选本的，如《苏长公小品》、《闲情小品》、《皇明十六家小品》。
小品文的体裁多种多样，有游记、速写、随笔、杂感（或称杂文），寓言、序、尺牍等。这些文体在古人看来，与诗文正统文学相比是不登大雅之堂的，故在古代分类的文体论中，不见有单独的“小品文”一类。中国的文体论，发轫于魏晋，盛于齐梁以后。曹丕的《典论·论文》中把文分为奏议、书论、铭诔；陆机的《文赋》将文体分为九类，即赋、碑、诔，铭、箴、颂、论、奏、说，属于“文”的有六种；晋·挚虞的《文章流别论》中也把文分为九类：诗、颂、赋、七、箴、铭、诔、哀、碑，属于文的有五种。至南北朝，刘勰在《文心雕龙》中提出了著名的文、笔说，“无韵者笔也”，笔指各种散体文，他所列的二十种文体中，属于无韵文的有十种，还出现了“杂文”这一名称（不过它属于韵文），就是还没有“小品文”。梁·昭明太子的《文选》将诗文分为三十八类，属于散文的有二十一种；到了明代吴讷的《文章辨体》和徐师曾的《文体明辨》，入选的文体更广泛，分类更细密，前者共分文体五十九类，后者搜罗文体一百二十七类,还是没有提及“小品文”这一名称。
人们不禁要问：明代小品文如此兴盛，名称的应用如此普遍，为什么出现在明代的二部分类书却没有“小品文”的一席之地呢?分析原因：大约有三：
首先是诸家进行文体分类时，多以文章用途为依据，而小品文并非指专用的某一类文体，故无法单列。
其次，“小品文”一词的概念，外延模糊，从逻辑上讲，它与许多文体有交叉关系，与某些文体又多重合，比如刘基的《卖相者言》，既可归之于寓言或杂文一类，也可归之为小品文。
其三，“小品文”在正统文人看来“既不宜说理，也不易传道”，以致于“体裁与风趣，殊纤纤不足道”（陈炼青《论个人笔调的小品文》），故只能是小技、小道。传统的文学观念认为文章是经国之大业，不朽之盛事，应把明道宗经放首位，如《颜氏家训·文章篇》所言：“朝廷宪章，军旅誓诰，敷显仁义，发明功德，牧民建国，施用多途。至于陶冶性灵，从容讽谏，入其滋味，亦乐事也。行有余力，则可习之。”小品文是属于“行有余力”而可为之的文字；再与正宗的高文大册（如策论、碑传）以宏正典则为宗、高古浑朴的风格相比，小品文以随意抒发感情为目的,风格比较自由活泼，因此显得不够庄重、严肃，且明代的小品文作家，大多思想离经叛道，自创一种适性任情的文章风格，逸出封建正统文学的常规。而且小品文里面颇有带刺成分，正人君子又多有疮疤，唯恐被刺到痛处，所以小品文从内容到形式都为“正统文人”所不齿，所痛恶，斥之为“滥调浮辞，卑不足道”，所以“小品文”终究难登文章的大雅之堂了。
小品”一词始见于晋代，作为一种文体，它兴盛于明代，但它不是无源之水，明代小品文最盛，作家对小品文的看法，代表了当时人的观念，如袁中道对小品文特点的阐说，他在《答蔡观察之履》中自述：
生少也贱，幸免为世法应酬之文，惟模写山情水态以自赏适，终难列作者之林，……近阅《陶周望祭酒集》，选家以文家三尺绳之，皆其庄严整栗之撰，而尽去其有风韵者。不知率尔无意之作，更是神情所寄，往往可传者。托不传者以传，以不必传者易于取姿，炙人口而快人目。班、马作文，妙得此法。今东坡可爱者,多在小文小说，其高丈大册，人固不爱也。使尽去之，而独存其高文大册，岂复有坡公哉！
这里的小文即指小品文，小说指一则则小故事，多诙谐幽默，富有趣味，由此可见，小文与小说还是有区别的。明代袁宏道的好友江盈科也有《雪涛小说》，但他讲一则则小故事总是有寓意的，有明显的议论文字，与纯粹说小故事的“小说”有所不同，所以还是能归入小品文一类。
六朝小品中著名篇章最多的应推陶渊明，他的《五柳先生传》、《与子严等疏》都是绝妙好辞，前者诙谐风趣的自画对明代文人的自传文、自为墓志气在风格、手法上的影响很大，后者是一份给五个儿子的疏札，这篇文字虽有训戒、遗嘱的庄重色彩，但读来如叙家常，甚觉亲切。这种如叙家常的笔调对明人特别是归有光潜移默化的影响或多或少总是有的。其他如刘伶的《酒德颂》，向秀的《思旧赋》，王羲之的《兰亭集序》、《杂贴》，陶渊明的《闲情序》、《游斜川序》，谢灵运的《山居赋序》，陶弘景的《答谢中书书》等等，都是六朝有名的小品文。
