根据史料记载，中国远古就有园林。但是把园林作为赏玩的空间与审美的对象，并从中体现出一种文人的雅趣，却是后来，也就是两汉以后，才渐次出现的。从历史上看，文人造园在明清以前就有很大的发展。而要追溯其中审美情操的建构，则不得不从晋代的大书法家王羲之开始。
公元353年，晋穆帝司马聃在位，年号永和。这一年暮春，著名书法家兼文人王羲之，集合一班当时的名士，在今浙江绍兴西南郊区的会稽山阴之兰亭相聚，按古代习俗，举办春禊活动。今天看来，这其实是当年的一种文人雅集。事后收集其人其作，出版诗集，由王羲之写序，并亲自援笔书写，不仅留下了千古妙文，更留下了“天下第一行书”的绝写，以其旷世之才，为后人创作了可以反复吟诵与不断摹写的艺术范本。
距离王羲之写《兰亭序》半个世纪之后，有一位官场失意的文人陶渊明，在复杂而残酷的人际关系网中历经多年挣扎之后，决定放弃被那个社会视为正当的所有名利追求，不再因五斗米而向“乡里小儿”折腰，完全归隐田园，去过一种类似自耕农的简单甚至贫困的生活。他发现自己原本“质性自然”“心惮远役”，因而对于“归去”怀抱欣喜之情。就这样，在一天早晨，陶渊明开始实施他的归隐理想，挂印而去。在归隐的路上，这位“质性自然”的诗人兴奋异常，写下了著名的《归去来辞》。
在这篇如行云流水般畅然的辞赋中，陶渊明有意无意间阐述了中国园林之精神要旨。一句“园日涉以成趣”，即描写了归隐生活的愉悦，也让日涉之趣的“园”，成为文人安贫乐道、物我两忘的重要的空间场所，从而为摆花弄草、营园造池之意义奠定了价值基础。同时，陶渊明还把园艺与琴书、泉水与木石视为一体，成为共同建构这一特殊空间之诗意的重要因素。从这个角度看，虽然陶渊明并没有明确的造园实践的纪录，但文人造园，在我看来，实起始于这位参透人生的伟大诗人。
对文人造园思想产生深远影响的著名文人则是唐代诗人王维，他性喜佛玄之道，好老庄之理，建有辋川别墅，为其晚年归隐处所。他的诗与画，表明其对自然有着非同一般的了悟与理解。
大约在公元732年，唐开元20年前后，从宋之问手上得到蓝田辋川别墅的王维，一直隐居在这所私人园林中，以满足其日益强烈的山林意蕴。也就在这一年，王维本想与好友裴迪一起入山，但又不忍心影响他的科举课业，遂独自成行，在山中转悠，沿途所见所闻，心境与景物合一，徒生诸多感慨，于是写了一篇短文给裴迪，以一种空旷悠远之意象为依归，从画人敏锐的视觉出发，对眼前见闻做了一番诗意的描述。其文虽短，却和300年前陶渊明的《归去来辞》有着同样超然的遁世观。两人处境多有不同，而其中思绪，竟然异曲同工。
在这里，我们又一次看到中国古代文人的一种人生态度，以自然为居所，而让诗意统摄这居所的内外，然后再内化为人的情感主体。在王羲之，俯仰之间已为陈迹，人生的短促与自然的博大相映而成，自然就是最大的“园林”，人居其间而不知老之将至。在陶渊明，造园是无须提及的俗事，自然在诗意的观照中而清雅，日涉的园趣便也乐在其中了。在王维，辋川别业并不是居所的代表，而是归隐山林的象征，步仄径临清流，多思曩昔，与友人携手共同赋诗，这才是居住的意义。尽管唐时文人造园还没有像明清两代那么兴盛，但其中对于自然与人生的看法，却已然成为一种共识，为后来的文人造园准备了审美的思想库。
从历史来看，王维始终以诗名胜，画其次。他在蓝田置辋川别业，其中的布局与建构，则体现了一贯的山林思想。辋川别业并没有留传下来，但是王维却为了这个园子创作了传世名作《辋川图》。后人正是通过这幅绘画作品而获得辋川别业的若干细节，并成为文人造园的一个先行样板。