在孔子里如斯好德如好色的人是什么意思

在孔子里如斯好德如好色的人是什么意思
看《孔子》,看到“子见南子”那一段,周润发和周迅的表演先不提,周迅象挂了一头门帘子的的雷人造型也不提了,就是感觉“如斯好德如好色”这句很不好理解.
先把上下句联系起来看：
南子：夫子,你真的把做一个品德高尚的君子看得那么重要吗?
孔子（眼神淡定,微笑）：我的信念是朝闻道,夕死可矣.
南子（震动,眼睛发亮）：夫子可否留在卫国,我们再见面.
孔子（微犹豫后,收起笑容）：微臣不便.
南子：为何不便?
（静,水声滴答,似乎可以听到他们的心跳）
孔子（眼神不再淡定,明显回避南子）：微臣从未见过如斯好德如好色的人.
南子（愈加震动,眼里全是敬慕）：世人可能很容易体会夫子的痛苦,却未必能体会夫子在痛苦中所领悟的境界.
然后南子向孔子行大礼,孔子也回敬.这一段就结束了.
我特意地查了查古汉语词典,“斯”做指代时通常是“这,这个”的意思.
“好德如好色”,我的理解是：喜欢美德如同喜欢美色.
那么,连起来就是：我从来没见过象这样喜欢美德如同喜欢美色的人.
这样,是指南子?还是指谁?现场没有其他人.如果是指南子,应该是赞美吧,如果南子喜欢美德,那么他有什么不便的?
不考虑电影的情节,原话产生的环境是这样的：孔子和卫灵公一起出行,卫灵公却和夫人南子共车,让孔子乘另一辆车,这是一种不敬的行为,于是孔子讽刺他说：“吾未尝见好德如好色者.”
那么是指卫灵公还比较说得过去,因为卫灵公好色,视南子为禁脔,所以孔子留在卫国,和南子会有多的接触才会不便.
可是卫灵公又不在场,怎么能说“如斯”?
晕了也.
我不是问这句话的正解.要是字面的解释我也能查出来的.我是想知道.他为什么这样说.是在说谁?