喜藏书，有藏书室名“越缦堂”、“困学楼”、“苟学斋”、“白桦绛树阁”、“知服楼”等，卧床左右，罗列书柜，并排盆花，自称“书可以读，花可以赏，二者兼得，其乐无穷”。与大学士周祖培、尚书潘祖荫来往书信密切。其藏书不足万卷，但以精见称。自称“于经史子集以及稗官、梵夹、诗余、传奇，无不涉猎而模放之”。仅手校、手跋、手批之书有200余种。编纂有《越缦堂书目》，著录书籍800余种；又有《会稽李氏越缦堂书目录》，由云龙辑有《越缦堂读书记》，记其阅读书籍990余种。藏书印颇多，自称“书籍不可无印记，自须色、篆并臻妍妙，故选不调朱，收藏家争相矜尚，亦惜书之一事也”。有“越缦堂藏书印”、“白桦绛树阁清客”、“会稽李氏困学楼藏书印”、“萝庵黄叶院落”、“桃花圣解盫”、“道光庚戌秀才，咸丰庚申明经，同治庚午举人，光绪庚辰进士”等数十枚。其《越缦堂日记》对古籍的解释、史料的鉴定考证、人物的评价等，有精到之评；以至本人的经历和对清末政治事件的描述，在近代史上具有重要的史料价值，为学者所重。著《湖塘林馆骈体文抄》、《白桦绛树阁诗初集》、《重订周易小义》、《越缦堂词录》、《越缦堂经说》、《柯山漫录》、《后汉书集解》、《霞川花影词》、《十三经古今文义汇正》等。所藏书于1918年前后由徐惟则、后裔李钟俊整理，有书9 000余册，手稿10余种；1928年售于北京图书馆。
李慈铭虽有“漆室坐忧时事非”(《赠吕定子编修》)的感情，任官期间也曾对时政有所批评和建议，但思想比较迂阔保守，持儒家“内圣外王”（《复陈昼卿观察书》）的观念，以求索不倦的学者 李慈铭《越缦堂诗文集》
和矜尚名节的名士，终其一生。他承袭乾嘉汉学余风，治经学、史学，都有一定成就。又博览群书，时有所评。其治学读书所得，大都载入《越缦堂日记》，颇为世人所重。
李慈铭自言在创作方面“所得意者莫如诗”（《白华绛跗阁诗甲集至己集初定本自序》）。今传已刻之诗起道光二十四年(1844)至同治十三年(1874)，共850首，主要反映了贫窘的学者与困顿的名士的生活与心境，山水风物、交游唱和的“登监闲适之篇”较多，至于“感愤切挚之作”（《越缦堂诗话》），也多是抒写落拓不遇之感。直接触及时事、反帝慨时的篇什，如《庚申八月感事》、《出大沽口感事》、《庚午书事》、《京邸冬夜读书》等，为数寥寥。占有一定数量的涉及太平天国的诗篇，则表现了地主阶级的立场。
李慈铭认为“学诗之道必不能专一家限一代。凡规规摹拟者，必其才力薄弱，中无真诣”。他主张内有所蓄。同时广泛向前人学习，“汰其繁芜，取其深蕴，随物赋形，悉为我有”(《越缦堂诗话》)。他的诗大体遵循自己的主张，广采诸家之长，以写自身所遭之境，自心所生之感，创造一种“清淡平直，不炫异惊人”（陈衍《石遗室诗话》）的风格，如《自题霞川老屋图》、《舟入青浦界作》、《初夏舟出徐山村至清水闸作》等。在文章方面，李慈铭认为“文体必本韵偶”（《书凌氏廷堪校礼堂集中〈书唐文粹文后〉文后》），强调骈文之美。此外，他的词也有一些感怀身世之作。
李慈铭除经、史著述之外，刻有《越缦堂文集》12卷、《湖塘林馆骈体文》 2卷、《白华绛跗阁诗初集》10卷及《霞川花隐词》。尚有《杏花香雪斋诗二集》、《桃花圣解庵乐府》未刻。中华书局出版的《杏花香雪斋诗》10集，为吴道晋所辑。
《越缦堂日记》是清代很有名的日记，与《翁同龢日记》、王闿运《湘绮楼日记》、叶昌炽《缘督庐日记》齐名，并称晚清四大日记。早在李慈铭在世时，《越缦堂日记》就被“士友多传抄之”，同治、光绪间文人圈内甚至有“生不愿做执金吾，惟愿尽读李公书”之语。李慈铭的日记之所以倍受学界青睐，一方面固然在于李慈铭本人的名望，另一方面则是由于日记本身的内容和价值。日记文字达数百万言，对清咸丰到光绪近四十年间的朝野见闻、人物评述、名物考据、书画鉴赏、山川游历以及北京等地的社会风貌等内容均有翔实记述，足资后代学者参考借鉴；日记中记录了大量的读书札记，仿《四库全书总目》之例，撰写书籍介绍及评论，内容涉及经史百家；日记中还录有李慈铭本人的诗词、骈文作品，对于研究作者本人的文学创作颇具参考价值。胡适在他的日记中坦然承认自己重新提起写日记的兴趣是受了《越缦堂日记》的影响。当然也有人持相反的看法，鲁迅在《怎么写（夜记之一）》一文中说道：“《越缦堂日记》近来已极风行了。我看了却总觉得他每次要留给我一些很不舒服的东西。为什么呢？一是钞上谕，……二是许多墨涂，……三是早给人家看，钞，自以为一部著作了。我觉得从中看不见李慈铭的心，却时时看到一些做作”。越缦堂日记已列入台湾国中国文教材之一。
《越缦堂日记》的出版经过极为曲折，前后历时六十余年。1894年末，李慈铭病逝，遗留日记手稿七十余册。当时，沈曾植、缪全孙等人曾极力推动将日记付梓，曾经师事李慈铭的樊增祥“以速刻自任，索最后一盒(日记)去，卒未刻”。1919年，在蔡元培、傅增湘、王幼山、王书衡等及学界二十余人的共同捐助下，商务印书馆于1920年以《越缦堂日记》为其名影印出版了遗留六十四册日记稿的后五十一册。（内容为李慈铭1863～1889年间的日记）。《越缦堂日记》影印出版后，士林争相一睹为快，誉之为“日记之大观”、“掌故之渊薮”。鲁迅在《三闲集》中说“《越缦堂日记》近来已极风行了”就是当时日记出版后的真实写照。《越缦堂日记》出版后，蔡元培根据李慈铭的遗愿拟将剩下的十三册日记（1854～1862年间日记）进行分类节录出版，后经钱玄同倡议，仍将剩余的十三册日记按前五十一册之例于1935年由商务印书馆线装本影印出版。这便是《越缦堂日记补》。而樊增祥带走的李慈铭暮年的日记手稿（1889～1894年记）则如泥牛入海，音信全无。尽管各时期都有热心人士呼吁追寻，但始终没有下落。直到1980年才有幸被发现。这宗重见天日的手稿后由北京燕山出版社于1988年影印行世，名《郇学斋日记》共九册，至此，李慈铭日记始以完璧面世。
考场败将 李慈铭禀赋优异，又肯刻苦用功，十几岁时便能与大人们赋诗酬唱，文名享誉乡里，名列“越中三少”之一。（其余两人为王星诚、陈珊士）。但考运不佳，屡试屡挫，先是经落榜四次后，才于二十二岁时考中秀才。后来历经二十年，十一次落榜，于四十二岁时始中举人。最后又经过十年，三次落榜，终于在五十二岁考中进士。
悲喜同日 李慈铭十四岁时，祖母病重，乃奉双亲之命迎娶大他五岁的表姐马淑人为妻。本意是要“冲喜”，无奈，婚礼刚完成，祖母便于当天去世。这件憾事始终是李慈铭心中难以排除的阴影，使得他与妻子一直维持着如姐弟一般的感情，更影响了李慈铭日后的感情生活。
憾无子嗣 李慈铭婚后无子，在传宗接代的压力下，曾于三十七岁、四十岁、五十九岁时，先后纳妾三名，但还是未能生下一子半息。为此，他一直耿耿于怀。到了后来，竟经常流连于风月场所，据说因为常到妓院天下美女都看尽，所以有了双性恋的倾向。而且还染上了“好男色”之癖。
嗜书成癖 李慈铭考运不佳，在官场也不甚得意，收入有限，寄居北京城的费用浩繁，经常举债度日。但据吴振芝从《越缦堂日记》中所见李慈铭先生收支状况分析，发现他每月开销金额中最庞大的费用，竟是买书。在他的日记里，常常记载他到书市疯狂采购的事迹。买书、读书、藏书，成为他自幼至老最为自豪快意之事。某年的冬天非常寒冷，李慈铭的钱全部花在古书上。他无钱买煤，他只好在冰冷中颤栗地熬过一天算一天。他熬夜读书，为求证一事，翻箱倒箧，辛苦非常。他却兴奋地说，“经义悦人，如是如是！”
耿介直露 李慈铭具有爱憎分明的强烈个性，对于自己看不惯的人或事情，常不假辞色的当面或即时破口大骂，以致于一些至交好友，如张之洞等，最后都因故宣告决裂。有时他也会在日记中自我检讨，但由于不喜欢俯仰随人、委曲求全的个性使然，始终不改旧习。不过，他处世虽多有峻厉言行，对于亲族，甚至家仆、亲友遗孤，则多以温情相待，可见是一位性情中人。
望春归，送春归，底事鹃声故故催，春归声亦悲。
云容天澹澹，苇痕风影，都上寺西楼。远山青万叠，是处斜阳，来与挂帘钩。
雏杨细草，又今年、绿遍瀛洲。偏未许、玉容花貌，深处荡莲舟。
细弱全家累，辛勤仰母慈。梦中怜病弟，乱里念孤儿。
多难惊心惯，穷居得信迟。侧身无处所，流涕太平时。
翠柏红梅围小坐,岁筵未是全贫。
蜡鹅花下烛如银。
钗符金胜,又见一家春。
自写好宜祛百病,非官非隐闲身。
屠苏醉醒已三更。
一声鸡唱,五十六年人。
