地质构造上属阿拉善地块，地貌形态缓和，主要为剥蚀低山残丘与山间凹地相间组成，第四纪沉积物普遍覆盖于地表，形成广泛分布的戈壁和沙漠。
在沙漠范围内，除东、南、北部有小面积的准平原化基岩和残丘外，广大地区全为沙丘覆盖，其中流动沙丘占83%。西部边缘的古鲁乃湖、北部的拐子湖、东部的库乃头庙附近有以梭梭为主的固定、半固定沙丘，面积约3000平方公里，沙丘高大密集，其中高大沙山占沙漠总面积的61%，高度多在200～300米，最高可达500米，有叠置沙丘的复合型沙山、金字塔型沙山及无明显叠置沙丘的巨大沙山等3种形式，单纯的沙丘链所占面积较小。仅在沙漠的东南部，沙山之间分布有许多内陆小湖（俗称海子），约有144个，面积一般为1～1.5平方公里，最大深度可达6.2米。多为咸水，不能饮用。湖周植物生长茂密，多为湿生、盐生等类型，常以湖水为中心与周围沙丘呈同心圆状分布，接近沙丘的地段出现以沙生植物为主的固定、半固定沙堆。海子周围常为牧场及聚落所在。 关于巴丹吉林沙漠的沙山形成的原因国内外研究者看法不一。有人认为，巴丹吉林的东南部被雅布赖山遮挡，产生与雅布赖山走向垂直的重力波的扰动，这一地区又常年吹西南风，刮起的沙粒在山前堆积，重力波中的上升气流将沙子带到更高处，久而久之聚集成高大的沙山；也有人说，巴丹吉林一带原本是丘陵地貌，沙化后，沙粒直接覆盖在丘陵上而形成高大沙山。
关于沙山成型的最新说法是地下水维持了沙山。河海大学、中国科学院地 质与地球物理所、澳大利亚昆士兰大学等机构的研究人员曾联合署名，在英国《自然》杂志发表了《地下水维持高大沙山》的论文。文章指出，巴丹吉林沙漠的沙山数千年屹立不移的秘密在于：表层沙子下20—30厘米处为湿沙层，沙子孔隙里含有大量水分，受下伏深大断裂带地下水上涌、水汽蒸发引起沙丘表面湿度增大、固定性增强，进而形成高大沙山。
另有说法是由于气候的干湿波动导致，当气候进入湿润周期，大量的降水使得沙丘中的碳酸钙形成钙结层，将沙子胶结、固定住。当气候进入干旱周期时，流动的沙子不断在钙结层上加积。如此反复进行，沙丘就越来越高大了。 关于巴丹吉林沙漠的湖泊形成的原因看法不一。有人认为是大气降水加上凝结水（露水），这里的沙丘在晚上降温快，达到水汽凝结成水的温度，水就会凝结到沙丘上，进入沙里，这种凝结水一年的总量相当于这里年平均降水量约80毫米；也有人说，这些湖水都是气候湿润的时期残留下来的；也有人认为，这些湖水是从雅布赖山或祁连山，甚至是从阿尔金山的大断裂带过来的。
一种新的说法是从东南方过来的深循环水，深循环水是从地壳深处溢出来的，而且是温度较高且稳定的热泉水，它们在经过灰岩、石灰岩地区后，才能带来溶解的碳酸钙。这些水涌出地表后，温度、压力发生变化，二氧化碳气体逃逸，碳酸钙才重新沉淀下来，形成钙华。而巴丹吉林沙漠中常年有积水的湖泊有很多钙华。
巴丹吉林沙漠，中国第三大沙漠，看看那里的双峰驼