据史书记载，纪晓岚先后有一位夫人和六房妾，这在当时对于一个官至礼部尚书的大学士来说是很正常的，没有反而不正常。纪晓岚很讲感情，1740年17岁的纪晓岚就跟邻县20岁的马氏成婚了一生相敬如宾，白头偕老。马夫人直到纪晓岚七十二岁那年才去世。他有一房妾名为文鸾，是他从小青梅竹马的朋友。这在封建社会来讲是很难得的。

　　纪晓岚的夫人姓马，在《阅微草堂笔记》中出现过两次。第一次是以“嫡庶”之“嫡”的身份出现的。《槐西杂志》第二卷八十八条是为纪的一个侍姬立传的，说马夫人很喜欢那侍姬：“故马夫人终爱之如娇女。”第二次是以婆母身份出现的，在《槐西杂志》卷三第二百一十四条：“马夫人称其（二儿媳）工、容、言、德皆全备。” 纪惜墨如金，两次提到马夫人，一共就用了二十多个字。笔法之中，读不出夫妻之间应有情感色彩，倒是有些客气，有些许远距离的尊重。这是合乎情理的。

　　郭彩符是纪的侍姬之一。《槐西杂志》卷二第一百四十一条专门讲的就是这个女人，三百余字，不少了。纪简单讲了这女人的来历和命运的不佳。重点讲了两件事。一是纪受贬在新疆时，“姬已病瘵”，到关帝庙问了一支签，知道还能等到纪回来，但病却好不了，果然纪回来不久，郭氏就去世了。二是在郭氏死后，家里晒其遗物，纪睹物生情，作了两首怀念郭氏的诗：“风花还点旧罗衣，惆怅酴釄片片飞。恰记香山居士语，春随樊素一时归。”（郭氏亡在送春之日）“百折湘裙台画栏，临风还忆步珊珊，明知神谶曾先定，终惜芙蓉不耐寒。”

　　沈明玕是纪的另一侍姬，纪着墨最多，用了两篇七八百字。《槐西杂志》第二卷八十八条几乎是在给沈氏作传，除介绍了她的来历、自愿当富家之媵妾，“女子当以四十以前死，人犹悼惜。青裙白发，作孤雏腐鼠，吾不愿也”的心愿，还录了她一首小诗：“三十年来梦一场，遗容手付女收藏。他时话我生平事，认取姑苏沈五娘。”而且说沈氏临终前生魂跑到纪晓岚“侍值圆明园”的住处去探望了他。沈氏死后，纪在其遗像上提了两首诗，其中一首为：“几分相似几分非，可是香魂月下归。春梦无痕时一瞥，最关情处在依稀。”《滦阳续录》卷一第二十八条专门录了沈氏死前不久， “以常言成韵语”写的一首《花影》诗：“绛桃映月数枝斜，影落窗纱乡帐纱。三处婆娑花一样，只怜两处是空花。”说沈氏诗中“两处空花，遂成诗谶”（一花为沈氏不久亡，一花为沈氏婢女亦不久亡）