乾隆皇帝非常喜爱这里出产的玉石制成的玉器，就经常安排人组织对密尔岱山进行玉石的大规模开采。在乾隆42年，密尔岱山发现了一块重达五吨的特大和田玉玉料，为了运输这块玉料，政府动用了几千民工，耗费3年多的时间才运到了北京城，随后又从北京运往扬州，请当时天下最有名的玉雕大师雕琢，经过十多年的雕刻，才最终完成了《大禹治水图》玉雕，此后这块玉雕成为清廷镇国之宝，保存在宁寿宫乐寿堂内。
又过了几年，密尔岱山又挖出了几块玉料，大的超过4吨，小的也有1吨多，消息传回北京，乾隆大喜，马上下令把这些玉石统统运回北京城。这下可要命了，毕竟，这次是运3块玉石，总重超过10吨，但是皇帝的命令是不能违逆的，地方官不得不组织上千民工开始着手运输事宜。这些民夫首先利用山地的自然海拔落差，小心翼翼地把这些玉石一点一点从高处向山下转移，从人员召集到三块玉石转移到山脚下的棋盘河河谷，小半年都过去了，然后就是新疆漫长的冬天，他们趁着河面结冰，把这三块玉石拖上冰面，并用几百匹马加上上千民夫的人力畜力，一点一点地把三块玉石带出了山。
随后的过程非常艰辛，史书记载“日行五里、七八里”，新疆本身交通就极不发达，玉石的沿途大都没什么路，他们把三块玉石放在特制的大铁车上，车轮“轴长三丈五尺余”，十分笨重，大铁车前面，是由几百匹马组成的马队，马儿们一起使力，车辆周围，上千民工推拉扶的，但是没什么路，这个过程个非常艰辛，行程极其缓慢。结果，等到嘉庆皇帝都当了三年皇帝了，这些玉石居然还没运出新疆，民夫们常年在外，风餐露宿，苦不堪言，而队伍所到州府县域，各地官员都要好生招待这些民夫和马匹的吃喝和补给，各地也是苦不堪言。
这幕场景，被乌什办事大臣都尔嘉发现了，他于是上书嘉庆皇帝，奏报了运送玉石所造成的种种祸患。嘉庆皇帝接报之后，大惊失色，没想到这个玉石运输竟然造成如此大的民间负担，咱可不能做滥用民力的秦始皇。到了第二年初，嘉庆皇帝下旨：叶尔羌离京路途甚远，运送玉石，倍觉费力”，“所解玉石，行至何处，即行抛弃，不必前解”。
嘉庆同时还下令赐给这些参与运输玉石的民夫“缎匹银两”，妥善安置他们返乡。圣旨到了之后，上千民夫闻讯大喜，如遇大赦，跪地赞颂嘉庆英明，“无不欢欣鼓舞，其喜可知”。于是，1799年1月，这些玉石就就地被丢弃在了茫茫戈壁滩上，40多年后，1844年，林则徐被发配新疆，还见过它们，在日记中，他写道：“此台之东，有大玉三块，”“今视之若小山然，”“其旁露出一面，碧色晶莹”。
