在广东民间故事传说中，唐朝贞元时期，有一个姓崔的人居南海，一次不小心跌人鲍姑井，这里竟通赵佗的陵墓。崔某从陵墓中拿了一颗宝珠，给波斯商人。此波斯商携珠返国时，珠落于广州大江，变为大石，珠江由此得名。此传说虽然神异荒诞不可信，但有一点值得我们注意，那就是鲍姑井本在越秀山的三远宫，编此传说的人可能认为赵佗陵墓在越秀山上。
另外，在《广东通志》、《广州府志》、《蕃禺县志》、《羊城古钞》、《广东考古辑要》等地方史籍中，均有赵佗陵墓的记载，但都是互相转抄上面史籍，均大同小异。
从以上史料可以看出，南越王赵佗的确在生前就对陵墓作了周密的安排，他死后葬在南越国都城—番禺。但赵伦的陵墓何在，却是众说纷纭，莫衷一是。根据以上史料透露的信息，可能在“白云山”、“马鞍岗”、“县东北八里”、“悟性寺”等地。
考古学家黄淼章结合以上几个地点的地形和考古调查材料进行排比考证分析得出的结论是:
一、赵佗陵墓在“白云山之说”，其所依据的史料较少。广州考古队曾调查过白云山，但至今还未发现过西汉前期的遗址和墓葬。第二代南越王墓在象岗，离当年南越国都城仅二三公里，从南越国已发现的坟墓一般都是合族而葬来看，赵佗陵墓不应离象岗太远。因此，赵佗墓是否会远离都城而在白云山上，值得怀疑。
二、“禺山之说”。禺山在何处?广州究竟有无禺山?这仍是争论不休的问题。同时还有番北禺南、番南禺北和番东禺西等不同说法。今中山四路北面，从儿童公园起往东至旧仓巷古城隆庙一带，是一块长几百米呈东西向的台地，俗称“高坡”。古诗有云:“欲问禺山何处是，路旁童子说高坡。”相传这里是禺山所在，清代曾在此建有禺山书院。1957年，考古工作者在此发现一座规模宏大的秦汉造船工场遗址，据地层关系可以看到，这个所谓台地是由秦汉至明清年间的遗物堆积而成的。有人认为禺山在今西湖商场附近。1988年，西湖商场拆建，地下基础挖得较深，考古队前往调查，没有发现广州地区山岗常见的基岩，这里也不是禺山，更不可能有赵佗的陵墓。据说五代时南汉主刘龚曾凿平番禺二山为宫闭，二山遂平。如此分析，禺山十分矮小，赵佗当然不会选择一个小岗作为自己永久的寝宫。再说，按各种史籍记载，禺山是在城内，赵佗为了保密，使自己的寝宫不受盗扰，是不会在城内大肆动土搞地宫的。因此，赵佗陵墓在禺山之说不能成立。
三、“鸡笼岗之说”。此岗在今燕塘附近，清代属鹿步司。这一带虽然岗峦起伏，但都很低矮，目前广州市区向此发展，许多小岗已被基建削平，这里很少发现汉代墓葬，更没有西汉前期大墓的迹象。从地形分析，很难想象出叱咤风云的赵佗会葬于此。因为赵佗之墓，一定会深藏地下十余米至二十米以下，才能不露痕迹。而广州地区天气潮湿，地下水位较高，一般小岗挖地不到十米，便碰到地下水，所以小岗是不会被赵佗用作陵墓所在地的。
四、“县东北八里之说”。按西汉时期番禺城不大，史称赵佗筑城周四十里。其城的东界，据麦英豪先生考证，当在今芳草街附近，而北界则在东风路以南。这样，县东1匕八里，即为今淘金坑、黄花岗、永福村一带。这一片地区，都没有比较高大的山岗。考古工作者在华侨新村、淘金坑、黄花岗一带，发现了一大批南越国墓葬，但都是臣民墓。这附近今天已成为羊城闹市，二三十层高楼不少，是广州高层建筑最集中的地方，建筑基础一般都挖得很深，却未见有赵佗陵墓的影踪。
五、广州附近，还有比较高大的山岗，即西得胜岗、花果山、飞鹅岭，也即今广州电视台、广州市科技中心、广州大学一带。这几个岗都是风化花岗岩山石，近几年来，这里大规模动土，几个山岗都被推削了几米至十几米。基建期间，考古工作者都前往调查发掘。在广州大学，考古人员配合推土工程于19$7年8月、1989年3月发现和发掘了数座西汉墓葬和晋墓，但没有发现西汉前期的大墓。广州科技中心基建工地，近年来推土已达十余来深，1985年3月25日在工地发现一座西汉前期木撑墓，墓室呈“凸”字形，长9.6米、宽5,}米，出土有近百件铜器、陶器等文物，但多保存不好，此墓规模圈较大，不少铜器有雏金，表明墓主生前有一定身份，可能是南越国中的一个较高级的官员。1988年5月，在其西面的另一工地上发现一座西汉前期墓，出土一枚“向责”玉印，应是墓主的私章。在今广州电视台基建工地，已推土将小山岗削去近二十米，只在1988年12月在岗顶三四米深处发掘了一座东汉砖室墓。这几座山岗比较高大，可以隐藏比较大型的古墓，但近年来基建挖土都很深，考古人员却未能在此找到南越王陵的线索。
六、至于“马鞍岗”、“天井岗”、“悟性寺”等说，由于这几个地方都隶属越秀山，因此可一并视为“越秀山之说”。经查阅地方史料，结合地理环境和象岗发现第二代南越王墓及汉代陵墓昭穆制度分析，认为赵佗陵墓应在越秀山上。
越秀山是广州的主山，属白云山余脉，其东西绵延约}.5公里。据《白云越秀二山合志》所载:“越秀山在省会城北，为省会主山，由白云山透逸而西，跨郡而耸起，东西延囊三里余，俯视三城，下临万井，为南武之镇山，··…中峰之正脉落于越王故官，上有越台故址。”越秀山属于低山，其主峰越井岗海拔仅74.8米，周围还有木壳岗、长腰岗、上山岗、蟠龙岗、鲤鱼岗、象岗和圆炮台等等。
越秀山是广州最早的风景名胜地，据地方史志载，南越王赵佗当年就在此山大宴群臣，并和汉朝派来的使者陆贾同游此山，山上还有越王台旧址，因此越秀山也称为越王山。在隶属于越秀山的象岗，发现赵胡陵墓，表明越秀山不仅是赵氏王朝佳口游宴之地，也是南越国王陵所在地。这是一个重要突破，为寻找赵佗墓提供了极为重要的线索。
从考古发现南越国墓葬看，有如下特点:墓葬多分布在西北郊和东j匕郊，大墓、中小墓分岗埋葬。中小墓数十座围在一岗成一个墓群，大墓则独占一个山岗。从总体来看，南越国墓葬反映出“聚族而居，合族而葬”的制度。第二代南越王墓独占了象岗，看来，赵佗的陵墓也会独占一个山岗。按合族而葬制度推测，赵佗陵墓不会离第二代王太远，而离象岗较近的山岗，比较高大能藏下王者之墓者，除上面提到的飞鹅岭、西得胜岗和花果山外，剩下的就是越秀山了。
从氏族宗法制度来看，赵佗墓在越秀山是符合制度的。据西安发现的汉代帝陵分布情况分析，以父为昭、子为穆的昭穆制度在汉代前期依然存在。《周礼·春官·家人》记载:“先王之葬居中，以昭穆为左右。”若以汉高祖长陵为祖位，高祖太子惠帝的安陵正是在长陵之右居于穆位。赵佗本是汉人，南越国又有不少中原人相辅，对中原的昭穆制度当然了解。从理论上说，南越国以赵佗的陵墓为祖位，居中，第二代南越王为穆位，居右。从考古发现看，第二代南越王赵胡的墓在象岗，位于越秀山之右，刚好是穆位。因此，推测赵佗墓在越秀山，是有一定根据的。从对越秀山各岗的调查分析推测来看，赵佗陵墓很可能就在越秀山的主峰越井岗—即今中山纪念碑附近的岗腹深处。
越秀山地理环境优越，滔滔珠江从前面流过，都城番禺就在脚下，从越秀山可眺望附近的碧波，又可看到吁陌纵横的田园。清初陈恭尹《九日登镇海楼》诗云:“五岭北来峰在地，九州南尽水浮天”，形象生动地描绘了越秀山的特点。能以此山为枕，确实具有王者之风，与赵佗地位相符。