在这里曾经有过一个非常美丽的传说，就是关于南海观世音菩萨的“不肯去观音”。当地人说，就是这个传说使南海观世音的名号名传中外。
故事的起源是在***，有一个外国的***，他乘着船千里迢迢地来到了中国，在中国求学拜佛，四处化缘，接受着当地居民的施舍。几年后，他开始想要回国，于是就开始准备出海，返回家乡。在临行之前，他想要带走一尊观音圣像。然而当他带好那尊圣像准备出发的前天，海面上忽然刮起大风大浪，他的船只根本无法度过海面。
可是他依然一意孤行。
第二天，他准备要走时，海面上又一次刮起了大风大浪。没想到，第三天，海上突然刮起了狂风，海浪翻滚，掀起冲天波涛，把船打得东倒西歪，直打转转，随时都有可能翻船。
更让人感到不解的是，别人走时都是风平浪尽，唯独他走时就是惊涛骇浪，根本无法出海，于是他就非常的疑惑。
有一天晚上，这位外国***做了一个梦。在梦中，他看到了观音萨。菩萨对他说：“你知道为什么，你现在一出海就会刮起大风大浪呢？”
那位外国的***摇摇头说：“我不知道，还请菩萨明示。”
菩萨说：
是因为你想要拿走本该不属于你的东西
不是你的莫拿走，眼前无路早回头”
外国***这才明白，原来是自己拿了那一尊观音像，导致南海龙王不高兴了，决意要把他给收了。于是外国***谢过菩萨，保证一定会将那观音像归还的。
第二天，外国***醒来，想起了昨天梦中梦到的事情。于是就将那尊观音像，放回了原处。这时他出海时是风平浪静，而那观音像忽然间腾空飞起，飞到了一个平台上，慢慢的变大，***后变成了一个巨人般大小。
外国***朝着那尊观音像严肃的拜了三拜，那尊观音像仿佛向外国***露出了一个微笑，那位外国的***又连忙拜了三拜。那尊观音像现今一直摆在南海那儿，瞭望着南海这片领域，观音的脸上仍面带着慈悲的笑容，保佑一方的平安吉祥。