即使这么多年过去，杜月笙始终是上海的一届传奇，作为上海风云人物中的一个，他确实很有能力。虽然杜月笙势力强大，但由于自己始终是一个混混的身份非常自卑，为将自己的形象塑造好，他不仅对文学极为热情，为人处世也很有条理，就连换衣服也是常年一身长褂。杜月笙身上一直都有一个绯闻，很多人都说他曾经同时爱上母女三人。

很多地方流传杜月笙因为身份卑微常常去听戏，想要加入名流的圈子，就在这期间，杜月笙认识小兰英及其两个女儿，由于小兰英妩媚，姚玉兰可爱，姚兰英英气，个个都让杜月笙心动不已。在他的逼迫之下，小兰英听从，姚玉兰嫁给他，姚玉英在被霸占之后自杀。

此外还有一种说法，其实他看中的一直都是姚玉兰，甚至因为思念好几天都吃不好饭，睡不好觉。前去打赏的时候还多次遭到小兰英的阻拦，令他非常着急。最终在杜月笙的坚持之下，姚玉兰还是答应他的求娶之心，不过提出两个条件，第一要明媒正娶，第二自己要另在他处居住，杜月笙立马答应。一年之后，姚玉兰就生下一个女儿，杜月笙专门邀请各种名流前来庆祝。

而关于杜月笙侵占母女三人的说法就显得十分荒唐，由于他本身就是一个极其重视形象的人，不会因为这三个女人将自己的名声败坏，绝对不是明智之举，更重要的是，姚玉兰有一个好姐妹—宋美龄，面对这样一个厉害的人物，杜月笙绝对不敢随意造次，更不敢对母女三人轻举妄动，他当时可是出名的对老婆好。姚玉兰婚后的生活过得很滋润，在丈夫去世之后接受孟小冬的人邀请前往台湾生活。