根据文献记载，南越国共传5主93年，第一代王赵佗在位长达67年之久。第二代王赵胡是赵佗之孙，在位十余年病死，葬于象岗，其陵墓已经发掘。第三代王赵婴齐是赵胡之子，在位只有八九年。第四代王是婴齐之子赵兴，即位不久便被承相吕嘉所杀，最后的亡国之主赵建德在位不久也死去。若把南越国第四、五主在位时间合起来，前后也只不过仅三年多，从两人死亡的结局看，生前和死后不可能建造起与前辈匹敌或与自己身份相符的大型陵墓。而有精力和财力建造大型陵墓的，只有前三主，现在第二主赵胡的陵墓已被发掘，那么整个南越国五主中就只有一主赵佗和三主赵婴齐的陵墓尚未找到。
关于三主婴齐的陵墓，文献中已有被三国时吴主孙权派兵盗掘的记载。与这个记载有些关联的还有，1983年5月，也就是在象岗大墓发现之前的一个多月，广州市考古队在西村车辆段宿舍工地曾清理了一座汉代大型木撑墓。墓坑长13米，宽6米，全部以河沙填实，这座墓堪称广州所见的汉代规模最大的一座木撑墓，遗憾的是墓室早已被盗。在发掘中，考古人员于盗洞内发现了玉舞人、玉璧、玉瑛、玉剑饰等精美玉器若干件，当象岗古墓发掘后，将出土文物与之对比，发现木撑墓遗落的器物，不论是玉质还是雕琢工艺，都不在象岗古墓出土器物之下。据此推断，木撑墓的这些器物当是盗墓者在慌忙之中遗落的。过去广州也曾发掘过一些汉代大墓，但从未出土过如此精美的玉佩饰，这表明墓主有较高的身份。另外，从墓中出土的玉剑饰推断，墓主应为男性。根据以上种种迹象，考古人员推断此墓可能就是文献中记载的南越国第三主赵婴齐的陵墓。
如果考古人员对木棒墓的推断确属实的话，那么在南越五主中，就只剩一主赵佗的陵墓没有找到。赵佗在位67年，且是南越国的鼎盛时期，他的陵墓一定比象岗赵胡的陵墓规格更高，内中的随葬品也一定更加华丽和壮观。那么，赵佗的陵墓到底秘藏在何处?这成为岭南考古中一个最大的谜团。为解开这个谜团，广州市考古人员在发掘象岗赵胡大墓之后，经过查阅有关地方史籍和整理考古资料，终于得出了一些较为合理的推论，从而为寻找赵佗墓的秘所提供了新的线索。
据晋代裴渊《广州记》云:“〔番禺)城北有尉佗墓，墓后有大岗，谓之马鞍岗。秦时，占气者言南方有天子气，始皇发民凿破山岗，地中出血，今凿处犹存，以状取目，故岗受厥称焉。”《蕃禺县志》卷52杂记云:“城北五里马鞍岗，秦时常有紫云黄气之异，占者以为天子气，始皇遣人衣绣衣，凿破此岗，其后卒有尉佗称制之事。”据此分析，马鞍岗在今广州越秀山与象岗相连凹处。
北魏哪道元《水经注》引王氏《交广春秋》云:“越王赵佗，生有奉制藩之节，死有秘异神秘之墓。佗之葬也，因山为坟，其垄莹可谓奢大，葬积珍玩·一佗虽奢偕，慎终其身，乃令后人不知其处。”此记载没有明确指出赵佗的陵墓何在，却由此可知，赵佗在生前就为其陵墓作了十分填密的安排，因山为坟，地面不留痕迹，十分神秘。
唐代李吉甫《元和郡县图志》记载:“禺山在县西南一里，尉佗葬于此。”禺山在何处，这是广州古史上仍在争论不休的一个问题。
《蕃禺杂志》载:“佗死，营墓数处，及葬丧车从四门出，故不知墓之所在。惟葛蒲漳侧，古马知上有云:‘山掩何年墓，川流几代’人。远同金骡裹，近似石麒麟。’时莫解之，但疑其墓不远。蔡如松云:‘旧说即悟性寺也。’今蒲涧之南，枯家数千，人犹谓越王疑家。”葛蒲涧在广州白云山，此记载把赵佗陵墓说成在白云山上。
清初屈大均《广东新语》记载:“南越王赵佗，相传葬广州禺山，自鸡笼岗北至天井，连山接岭，皆称佗墓。”
清梁廷桥《南越五主传》云，赵佗死“葬都城东北，南自鸡笼岗，北至天井，连岗接岭，葬时多为疑家。丧车从四门出，棺棚无定处，当时人莫知所在。孙胡嗣立，私上谧日武帝”。此记载与《广东新语》基本相同，只讲出赵佗墓的一个大致范围。
在广东民间故事传说中，唐朝贞元时期，有一个姓崔的人居南海，一次不小心跌人鲍姑井，这里竟通赵佗的陵墓。崔某从陵墓中拿了一颗宝珠，给波斯商人。此波斯商携珠返国时，珠落于广州大江，变为大石，珠江由此得名。此传说虽然神异荒诞不可信，但有一点值得我们注意，那就是鲍姑井本在越秀山的三远宫，编此传说的人可能认为赵佗陵墓在越秀山上。
另外，在《广东通志》、《广州府志》、《蕃禺县志》、《羊城古钞》、《广东考古辑要》等地方史籍中，均有赵佗陵墓的记载，但都是互相转抄上面史籍，均大同小异。
从以上史料可以看出，南越王赵佗的确在生前就对陵墓作了周密的安排，他死后葬在南越国都城—番禺。但赵伦的陵墓何在，却是众说纷纭，莫衷一是。根据以上史料透露的信息，可能在“白云山”、“马鞍岗”、“县东北八里”、“悟性寺”等地。
考古学家黄淼章结合以上几个地点的地形和考古调查材料进行排比考证分析得出的结论是:
一、赵佗陵墓在“白云山之说”，其所依据的史料较少。广州考古队曾调查过白云山，但至今还未发现过西汉前期的遗址和墓葬。第二代南越王墓在象岗，离当年南越国都城仅二三公里，从南越国已发现的坟墓一般都是合族而葬来看，赵佗陵墓不应离象岗太远。因此，赵佗墓是否会远离都城而在白云山上，值得怀疑。
二、“禺山之说”。禺山在何处?广州究竟有无禺山?这仍是争论不休的问题。同时还有番北禺南、番南禺北和番东禺西等不同说法。今中山四路北面，从儿童公园起往东至旧仓巷古城隆庙一带，是一块长几百米呈东西向的台地，俗称“高坡”。古诗有云:“欲问禺山何处是，路旁童子说高坡。”相传这里是禺山所在，清代曾在此建有禺山书院。1957年，考古工作者在此发现一座规模宏大的秦汉造船工场遗址，据地层关系可以看到，这个所谓台地是由秦汉至明清年间的遗物堆积而成的。有人认为禺山在今西湖商场附近。1988年，西湖商场拆建，地下基础挖得较深，考古队前往调查，没有发现广州地区山岗常见的基岩，这里也不是禺山，更不可能有赵佗的陵墓。据说五代时南汉主刘龚曾凿平番禺二山为宫闭，二山遂平。如此分析，禺山十分矮小，赵佗当然不会选择一个小岗作为自己永久的寝宫。再说，按各种史籍记载，禺山是在城内，赵佗为了保密，使自己的寝宫不受盗扰，是不会在城内大肆动土搞地宫的。因此，赵佗陵墓在禺山之说不能成立。
三、“鸡笼岗之说”。此岗在今燕塘附近，清代属鹿步司。这一带虽然岗峦起伏，但都很低矮，目前广州市区向此发展，许多小岗已被基建削平，这里很少发现汉代墓葬，更没有西汉前期大墓的迹象。从地形分析，很难想象出叱咤风云的赵佗会葬于此。因为赵佗之墓，一定会深藏地下十余米至二十米以下，才能不露痕迹。而广州地区天气潮湿，地下水位较高，一般小岗挖地不到十米，便碰到地下水，所以小岗是不会被赵佗用作陵墓所在地的。
四、“县东北八里之说”。按西汉时期番禺城不大，史称赵佗筑城周四十里。其城的东界，据麦英豪先生考证，当在今芳草街附近，而北界则在东风路以南。这样，县东1匕八里，即为今淘金坑、黄花岗、永福村一带。这一片地区，都没有比较高大的山岗。考古工作者在华侨新村、淘金坑、黄花岗一带，发现了一大批南越国墓葬，但都是臣民墓。这附近今天已成为羊城闹市，二三十层高楼不少，是广州高层建筑最集中的地方，建筑基础一般都挖得很深，却未见有赵佗陵墓的影踪。
五、广州附近，还有比较高大的山岗，即西得胜岗、花果山、飞鹅岭，也即今广州电视台、广州市科技中心、广州大学一带。这几个岗都是风化花岗岩山石，近几年来，这里大规模动土，几个山岗都被推削了几米至十几米。基建期间，考古工作者都前往调查发掘。在广州大学，考古人员配合推土工程于19$7年8月、1989年3月发现和发掘了数座西汉墓葬和晋墓，但没有发现西汉前期的大墓。广州科技中心基建工地，近年来推土已达十余来深，1985年3月25日在工地发现一座西汉前期木撑墓，墓室呈“凸”字形，长9.6米、宽5,}米，出土有近百件铜器、陶器等文物，但多保存不好，此墓规模圈较大，不少铜器有雏金，表明墓主生前有一定身份，可能是南越国中的一个较高级的官员。1988年5月，在其西面的另一工地上发现一座西汉前期墓，出土一枚“向责”玉印，应是墓主的私章。在今广州电视台基建工地，已推土将小山岗削去近二十米，只在1988年12月在岗顶三四米深处发掘了一座东汉砖室墓。这几座山岗比较高大，可以隐藏比较大型的古墓，但近年来基建挖土都很深，考古人员却未能在此找到南越王陵的线索。
六、至于“马鞍岗”、“天井岗”、“悟性寺”等说，由于这几个地方都隶属越秀山，因此可一并视为“越秀山之说”。经查阅地方史料，结合地理环境和象岗发现第二代南越王墓及汉代陵墓昭穆制度分析，认为赵佗陵墓应在越秀山上。
越秀山是广州的主山，属白云山余脉，其东西绵延约}.5公里。据《白云越秀二山合志》所载:“越秀山在省会城北，为省会主山，由白云山透逸而西，跨郡而耸起，东西延囊三里余，俯视三城，下临万井，为南武之镇山，··…中峰之正脉落于越王故官，上有越台故址。”越秀山属于低山，其主峰越井岗海拔仅74.8米，周围还有木壳岗、长腰岗、上山岗、蟠龙岗、鲤鱼岗、象岗和圆炮台等等。
越秀山是广州最早的风景名胜地，据地方史志载，南越王赵佗当年就在此山大宴群臣，并和汉朝派来的使者陆贾同游此山，山上还有越王台旧址，因此越秀山也称为越王山。在隶属于越秀山的象岗，发现赵胡陵墓，表明越秀山不仅是赵氏王朝佳口游宴之地，也是南越国王陵所在地。这是一个重要突破，为寻找赵佗墓提供了极为重要的线索。
从考古发现南越国墓葬看，有如下特点:墓葬多分布在西北郊和东j匕郊，大墓、中小墓分岗埋葬。中小墓数十座围在一岗成一个墓群，大墓则独占一个山岗。从总体来看，南越国墓葬反映出“聚族而居，合族而葬”的制度。第二代南越王墓独占了象岗，看来，赵佗的陵墓也会独占一个山岗。按合族而葬制度推测，赵佗陵墓不会离第二代王太远，而离象岗较近的山岗，比较高大能藏下王者之墓者，除上面提到的飞鹅岭、西得胜岗和花果山外，剩下的就是越秀山了。
从氏族宗法制度来看，赵佗墓在越秀山是符合制度的。据西安发现的汉代帝陵分布情况分析，以父为昭、子为穆的昭穆制度在汉代前期依然存在。《周礼·春官·家人》记载:“先王之葬居中，以昭穆为左右。”若以汉高祖长陵为祖位，高祖太子惠帝的安陵正是在长陵之右居于穆位。赵佗本是汉人，南越国又有不少中原人相辅，对中原的昭穆制度当然了解。从理论上说，南越国以赵佗的陵墓为祖位，居中，第二代南越王为穆位，居右。从考古发现看，第二代南越王赵胡的墓在象岗，位于越秀山之右，刚好是穆位。因此，推测赵佗墓在越秀山，是有一定根据的。从对越秀山各岗的调查分析推测来看，赵佗陵墓很可能就在越秀山的主峰越井岗—即今中山纪念碑附近的岗腹深处。
越秀山地理环境优越，滔滔珠江从前面流过，都城番禺就在脚下，从越秀山可眺望附近的碧波，又可看到吁陌纵横的田园。清初陈恭尹《九日登镇海楼》诗云:“五岭北来峰在地，九州南尽水浮天”，形象生动地描绘了越秀山的特点。能以此山为枕，确实具有王者之风，与赵佗地位相符。
另外，越秀山也是一块风水宝地。据晋代裴渊《广州记》，“秦时占气者曰南方有天子气，始皇发民凿破山岗”，此岗即隶属越秀山的马鞍岗。到了明朝，也有术士认为越秀山有王者之气，故在山卜建“镇海楼”，含有雄镇海疆之意，又有镇王者气之意。南越王赵佗生前喜欢此山，在山上建越王台，作游乐玩赏之地;死后作为秘密的永久寝宫，也是顺理成章的。最后，应该指出的是，赵佗的陵墓虽然是他生前选定的，但丧葬仪式却是接班人即象岗墓主赵胡主持的。赵佗的殡葬是轰动南越国的大事，赵胡竟然能掩过众人的耳目，制造不少假象，使人坠人迷雾，不知陵墓所在。赵佗陵墓能长期保存不留痕迹，第二代南越王赵胡确实费了不少心机