问题描述
数据库中的一个字段已经存在相同的值，想给这个字段建立一个唯一索引，并删除多余的数据，于是建立索引时设置了dropDups 为true，但还是报错重复key，是怎么回事呀？或者有什么方法能快速删除多余的数据呢？
问题解答
回答1：
可以通过python脚本删除重复
from pymongo import MongoClientclient = MongoClient()db = client.dbnamedocumentname = db.documentnamekeys = {}for k in documentname.find(): key = k[’field’] if keys.has_key(key):print ’duplicate key %s’ % keydocumentname.remove({’_id’:k[’_id’]}) else:print ’first record key %s’ % keykeys[key]=1
思路很简单，遍历并用dict存储，第二次遇到时删除。但这样无法控制删除与保留的对象，具体可以根据你的场景调整脚本
回答3：我也遇到这个情况了，不知道怎么解决，能指点一下吗
回答4：当数据有10W条以上的时候，通过脚本可以很快的处理吗？还有多并发的时候，脚本是如何处理的？
回答5：mongoDB3.0废弃dropDups参数，以后不能通过这个删除重复数据了。
http://blog.chinaunix.net/xmlrpc.php?r=blog/article&id=4865696&uid=15795819
