太宗引为秦府参军，授弘文馆学士，与房玄龄对掌文翰。后转著作郎兼弘文馆学士，除秘书少监，贞观七年（633）转秘书监，主管国家图书馆藏书。在任职于秘书监时，充分利用国家藏书，编辑有类书名《北堂书抄》160卷。北堂是秘书省的后堂，故名。全书分19部，下分852类，每类摘引唐以前古籍中一些有关的词句，但不尽注明出处。为唐代有名的四大类书之一。个人收藏书画作品甚多，亦有图籍存于家。收藏品钤有“世南”等印章。书法与欧阳询齐名并称“欧虞”，俱为后世宗法。传世碑帖有《孔子庙堂碑》、《破邪论》等。