河东张氏自张嘉贞显贵之后，热衷收藏古来字画，到张彦远这一代，历五世。唐代公私藏家有铃印之习，张彦远《叙古今公私印记》一篇著录的印鉴，有其祖上三代的鉴藏印：张嘉贞的“河东张氏”印，张延赏的“鸟石侯瑞”印，张弘靖的“鹊瑞印”（两方，一方为“鹊瑞”二字印）。《新唐书·张弘靖传》记载，张弘靖时，“家聚书画，侔秘府”。也是在他手上，藏品或因进献、动乱之故，大多散失。张彦远《历代名画记》记载：

元和十三年（818年），高平公（张弘靖）镇太原。不能承奉中贵，为监军使内官魏弘简所忌，无以指其瑕，且骤言于宪宗曰：“张氏富有书画。”遂降宸翰，索其所珍。惶骇不敢缄藏，科简登时进献。乃以钟（繇）、张（芝）、王（瓘）、索（靖）真迹各一卷，二王真迹各五卷，魏、晋、宋、齐、梁、陈、隋杂迹各一卷，顾（恺之）、陆（探微）、田（僧亮）、杨（子华）、董（伯仁）、展（子虔），泊国朝名手画，合三十卷表上。（中略）其书画并收入内库，世不复见。（卷一《叙画之兴废》）

其余者，（穆宗）长庆初（821年），大父（张弘靖）为内贵魏弘简门人宰相元稹所挤，出镇幽州。遇朱克荣之乱，皆失坠矣。非戎虏所爱，及事定，颇有好事者购得之。彦远时未龀（chèn）岁，恨不得见家内所宝。其进奉之外，失坠之余，存者才二三轴而已。虽有豪势，莫能求旃（zhān）。（卷一《叙画之兴废》）

余自若年鸠集遗失，鉴玩装理，昼夜精勤。每获一卷，遇一幅，必孜孜集缀，竟日宝玩。可致者必货弊衣，减粝（lì）食。妻子僮仆切切嗤笑，或曰终日为无益之事，竟何补哉？既而叹曰：若复不为无益之事，则安能悦有涯之生！是以爱好愈笃，近于成癖。每清晨闲景，竹窗松轩，以千乘为轻，以一瓢为倦，身外之累，且无长物。唯书与画，犹未忘情。既颓然已忘言，又怡然以观阅。常恨不得窃观御府之名迹，以资书画之广博。又好事家难以假借，况少真本。（卷二《论鉴识收藏购求阅玩》）

张家不但收藏书画，而且数代善书法。张彦远《法书要录·序》追述：

（高祖）河东公书迹俊异，尤能大书。《本传》云：“不因师法而天资雄劲。”曾祖魏国公少禀师训，秒合钟张，尺牍尤为合作。大父高平公幼学元常（钟繇），自镇蒲、陕，迹类子敬（王献之）。及处台司，乃同逸少（王羲之）。书体三变，为时所称。……先君尚书（张文规），少耽墨妙，备尽楷模。

张彦远继承家风，弱冠好事书画，自称“书则不得笔法，不能结字，已坠家声，为终身之痛。画又迹不逮意，但以自娱。”（《历代名画记·论鉴识收藏购求阅玩》）。但是，他的书迹在宋朝还有流传，徽宗宣和御府藏有他用八分书抄录的前人诗意4件，临王羲之草书7件。宋人称他“能文，工字学，隶书外，多喜作八分”，而八分书“仿古出奇，亦非凡子可到”（《宣和书谱·张彦远传》）。

张彦远的书法不及祖辈，却留下了两部书画名著：《历代名画记》与《法书要录》。这两部十卷本的书画著作，大约在他30岁以后的几年间完成。那时他为左补阙转官尚书祠部员外郎，虽说官品不高，却是清要之职，较为悠闲。