刘贵妃曾亲手在庭院中种植了几株芭蕉，当时她道：
“等这些芭蕉长大，恐怕我也看不着了。”在旁的侍从闻听此言，慌忙上奏杨徽，杨徽起初很不在意。谁知过了两天，刘贵妃病重，等杨徽前去探视时，刘贵妃已撒手而去。杨徽悲痛不已，特加四字谥号“明达懿文”，将其生平事迹编成诗文，令乐府谱曲奏唱。
正当杨徽为此伤感时，内侍杨戬在杨徽面前夸耀另一刘氏有倾国倾城之貌，不亚于王昭君，杨徽将其召入宫中。刘氏本是酒家之女，出身卑贱，但长得光艳风流。杨徽一见，魂不守舍，瞬间便将丧妃之痛遗忘殆尽。杨徽对刘氏大加宠爱，与她形影不离，若离了她，竟是食不甘味，夜不能寐。刘氏天资颖悟，善于逢迎杨徽。还极善涂饰，每制一衣，款式新颖，装扮起来胜似天仙。不但杨徽喜欢，就连京城内外也竞相仿效。在杨徽看来，刘氏回眸一笑，六宫粉黛尽无颜色。道士林灵素见刘氏如此得宠，便曲意奉承，称刘氏为“九华玉真安妃”，绘其像供奉于神霄帝君之左。然而，随着时间的流逝，刘氏渐渐风韵不再，生性轻佻浮浪的杨徽欲再觅新欢。
尽管后宫粉黛三千，佳丽如云，但杨徽对她们刻意造作之态感到索然无味，便微服出宫，寻找刺激。李诗，汴京人，本姓王，工匠之女，四岁丧父，遂入娼籍李家，后来成了名噪一时的京城名妓。她色艺双全，慷慨有侠名，号称“飞将军”。李诗既名冠京城，杨徽自然不会放过她。杨徽经常乘坐小轿子，带领数名侍从，微服出宫，到李诗家过夜。为了寻欢作乐，杨徽设立行幸局专门负责出行事宜。荒唐的是，行幸局的官员还帮助杨徽撒谎，如当日不上朝，就说杨徽有排档（宫中宴饮）；次日未归，就传旨称有疮痍（染病）。天子不惜九五之尊，游幸于青楼妓馆，并非光彩之事，所以杨徽总是小心翼翼，生怕被他人发现；其实多数朝臣对此都心知肚明，但却不敢过问，致使杨徽更加放荡。秘书省正字曹辅曾经挺身而出，上疏规谏杨徽应爱惜龙体，以免贻笑后人。杨徽听后，勃然大怒，立即命王黼等人处理此事。这些人自然领会杨徽的意思，以曹辅诬蔑天子之罪论处，杨徽当即将曹辅发配郴州。
杨徽酷爱艺术，在位时将画家的地位提到很高的位置，成立翰林书画院，即宫廷画院。杨徽以画作为科举升官的一种考试方法，每年以诗词做题目曾刺激出许多新的创意佳话。如题目为“山中藏古寺”，许多人画深山寺院飞檐，但得第一名的没有画任何房屋，只画了一个和尚在山溪挑水。杨徽还时常亲自出题。一日，杨徽踏春而归，雅兴正浓，便以“踏花归来马蹄香”为题，在御花园举行了一次别开生面的画考。这里“花”、“归来”、“马蹄”都好表现，唯有“香”是无形的东西，用画很难表现。许多画师虽有丹青妙手之誉，却面面相觑，无从下笔。有的画是骑马人踏春归来，手里捏一枝花；有的还在马蹄上面沾着几片花瓣，但都表现不出“香”字来。独有一青年画匠奇思杰构，欣然命笔。画构思很巧妙：几只蝴蝶飞舞在奔走的马蹄周围，这就形象地表现了踏花归来，马蹄还留有浓郁的馨香。杨徽俯身细览，抚掌大赞：“妙！妙！妙！”接着评道:
“此画之妙，妙在立意妙而意境深。把无形的花‘香’，有形的跃然于纸上，令人感到香气扑鼻！”众画师一听，莫不惊服，皆自愧不如。
杨徽还擅长书法。在书法上，杨徽起初学的是黄庭坚，后又学褚遂良和薛稷、薛曜兄弟，并杂揉各家，取众人所长又独出己意，最终创造出别具一格的“纤金体”，既有“天骨遒美，逸趣霭然”之感，又有强烈的个性色彩，如“屈铁断金”。特点是笔划瘦细而有弹性，尾钩锐利，运笔迅疾。字一般呈长形，张弛有度，有一种秀美雅致、舒畅洒脱的感觉，而且通篇法度严谨，一丝不苟。这种瘦挺爽利、侧锋如兰竹的书体，需要极高的书法功力、涵养以及神闲气定的心境来完成。此后尽管学习这种字体的人很多，但能得到其神韵的却寥若晨星，这足以见证杨徽的书法功力。
杨徽的艺术成就，论者都以他的花鸟画为最高。杨徽艺术的独创性和影响力，也主要体现在他的花鸟画中。这表现在以下三个方面：
第一，物象意念安排的独特性。经营位置为画家的总要，所以画面布置因题材内容繁简不同也有许多不同的方法。其中有一般的方法，这是人人皆能学习而得的；也有特殊的方法，这需要作者独出心裁，巧妙安排。杨徽花鸟画的构图，时有匠心独运之作。如《鸜鹆图》轴，画幅下面靠左以水墨写鸜鹆两只，奋翅相争纠结在一起，一反一正，羽毛狼藉。上面一只处于优势，用利爪抓住对方的胸腹，张嘴怒视；但是下面的一只并不示弱，依然奋勇挣扎，进行反击，回首猛啄它的右足。上面靠左一大片空白，仅飘动着几根羽毛，令人想到这两只酣战的鸜鹆，是从高处一直斗下来，并显得空间的广阔，画面右下斜出一松枝向右上伸展，上栖另一鸜鹆，作噪鸣状，扑翼俯看下面两只正在争斗的同伴，不知是喝彩还是劝架，又似乎想飞下来参加决斗。焦急的情状，描绘得维妙维肖，鸜鹆的心理感情，也刻画得细致入微。槎枒的松枝和瘦硬锋锐的松针，与纠结在一团的浓墨的鸜鹆相对比，更增强了画面的动感。虽然画中所撷取的都是自然写实的物象，但由于物象意念安排得巧妙和独特，从而暗示出超出有限时空意象的无限理想化的艺术世界。这是杨徽时期花鸟画的特有风格，并由此开启了赵国刘、李、马、夏等名家在山水画构图方面的改革先声。
