色芒果在百色种植历史已有三百多年。《广西通志·卷二十》记载“芒果田州土州（今田东、田阳）出树扶疎（shū）直上枝叶秋冬不凋每二月另抽嫩枝细花丛生色淡黄结实五月熟大如桃黄色味甘香。”《横州志》（1899）记载：南宁、镇南、田南（右江区）出产扁桃（柳叶芒）“冬不凋”，最好的食用方法为“熟则自落，藏一、二日，肉成膏液，味甜而甘，如摘食之则酸。”

《田阳县志》记载，民国二十三年（1934年），那坡街大商家黄恒栈从南亚的菲律宾引进4株吕宋芒，种于田阳县那坡镇境内，现仅保留有一株，树高10多米。这是百色市最早的芒果栽培记录，但据民间调查，右江区（原百色市）和田阳县种植“本地芒”的历史比黄恒栈引种的芒果还要早，现在的“罗索大芒”（产于右江区龙景街道逻索村）、“大湾大扁桃”（当地称“公芒”，产于右江区龙景街道大湾村）及“大楞野生冬芒”（产于右江区大楞乡）都有三百多年生的芒果树，至今仍有较强的开花结果能力。在田阳县那坡镇那芘村那吉屯、右江区龙景街道福禄村福禄屯等地，现还活100多株的芒果上百年的老树，树干直径约1.8米，3个成年人合抱不过、树高约20米。据村民介绍，村中这些芒果老树都是300多年前祖先们开村时种植的。现在，这些老树每株每年可产出芒果3000多斤，当地居民把它们称之为“芒果的祖先”、“芒果王”。

《中国作物及其野生近缘植物——果树卷》（中国农业出版社于2006年7月出版的一书第25章）记载：“中国芒果产区在广西主要分布于右江河谷的田阳、田东、百色等县市；“广西百色等地有200～400年生老树”。

而“百色芒果”这一称呼是从1966年开始广泛流传的，据《（67）色外直站字第009号》文中记载的“关于收购芒果、扁桃的请示”，里面有一句话是这么说的：“去年南宁市罐头厂曾派人来色收订拾吨多芒果加工罐头，听说百色芒果很好......”，“百色芒果”就是从这里开始越来越多的人熟知。