米芾甚至因为洁癖而丢过官。他曾负责太庙的祭祀礼乐，这是宗法社会中最为盛大隆重的仪式。祭祀服装上，绣有火焰等纹样。据说宋朝开国皇帝赵匡胤是火德星君 临凡，这祭服上的火焰纹样，便是赵宋王权的象征。米芾清洗祭服，用力过猛，竟然把衣服上装饰的火焰洗掉了。亏得徽宗素知米芾性情，没有大加责罚，只将他罢 官了事。
米芾的奇装异服，当时也曾遭人议论。他喜欢唐代服饰，帽子、袍子仿效唐人，走到哪里都引来人群围观。时间久了，汴京(今开封)城里的男女老少，即便不认识他，也能从着装上知道他就是米芾。
有一次，他出门赴宴，戴了一顶高檐帽，结果帽子太高，无论如何，也不能戴着帽子坐进轿子里去。米芾又不肯让随从代劳，深怕他们弄脏了自己的帽子。左思右 想，最后让随从拆了轿子的顶盖，这才安安稳稳地坐进轿子里。一路上为人所惊笑，后来遇到老友晁以道，晁以道见状，也忍俊不禁，说道：“米芾，你简直就像是 坐在槛车里示众的囚犯啊！”
奇石与奇砚
米芾生活中，有两大爱好——一是石，二是砚。
他在镇江的宅子中，有一块奇石，上面共有81穴，秀润异常。当初用了100多个人，才将这块石头运至家中，题名为“洞天一品石”。他曾在江苏涟水做官，涟水靠近安徽灵璧，其地盛产一种敲击起来有金属声的石头，人称“磬石”。米芾收集了很多这样的石头，在自己的书房中流连把玩，终日闭门不出，将公务通通抛到了脑后。
著名的“米芾拜石”故事，今天已经成了艺坛上人所熟知的风流佳话。米芾在安徽无为做官时，见官署中有块石头生得十分奇特，便命人取出官袍，手执朝笏对着奇石行跪拜礼，口里还叫它“石丈”。言官们听到这事后进行评议，一时在朝廷中传为笑谈。对于拜石一事，米芾自己倒是很得意，他曾自作《拜石图》，以为纪念。后世也喜欢用这个题材来作画，很多著名画家都作有《米颠拜石图》。
米芾酷爱奇砚，连皇帝的砚台都垂涎。有一次，徽宗召米芾写字，用的是御案上的端砚。写完后，米芾捧着端砚跪下，对皇帝说：“这方砚石，臣下已经用过了，恐怕不好再供御前听用了……”皇帝哈哈大笑，就把端砚赐给了他。米芾高兴不已，抱着砚石退出，衣服上沾满了墨汁也不在乎。
砚为“文房四宝”之一，是文人、书画家的必备之物。米芾对砚石素有研究，曾著有《砚史》一卷，对各种古砚的品相、各地砚石的特点等都有精辟的见解。米芾自己也收藏过很多珍贵的砚石，他对这些砚石的爱护，简直可以称得上是“爱之如命”。他留下过一封书信，收信人是谁，现在已经不知道了。似乎是对方向他索要一方砚石，他拒绝得很坚决。信中写道：“拿走心，就变成了失心人。砚石，就是我的心。是谁教唆你来向我讨要这方砚石？我一定会深究这件事。不过，我手中有一幅徐熙(五代南唐著名画家)的《梨花图》，权当是砚石送给你吧，算是保全我们之间的交情。如果一定要拿走我的心，我只好像项羽那样自刎在乌江之中了。”
为书画费尽心机
当然，作为一名书画家，米芾平生最爱还是书画。他的书斋名为“宝晋斋”，因为里面多是晋人手迹。他的儿子米友仁曾记载说：“父亲所藏的晋唐真迹，天天都摆在书案上，手不释笔，临摹学习。到了夜晚，就收在箱子里，放在枕边，才能入眠。”米芾出门时，往往还要带上书画。他到江南做官，在官船上挂了一个牌子，上面大书“米家书画船”等字。黄庭坚为此作诗赠之：“沧江尽夜虹贯月，定是米家书画船。”米芾自己也写道：“满船书画与明月，十日随花窈窕中。”