布隆过滤器的高效去重策略，在大数据场景下，真的挺香的。内存占用少，查询速度快，适合你要搞超大规模唯一性校验的时候。不用全量存储，也不用频繁查数据库，省资源省心。

去重的时候，最怕的是什么？一个个比对，开销大不说，速度也感人。布隆过滤器直接帮你绕过这一坑，通过位图+多哈希，判断元素是否存在，快得。也有误判，但绝对不会漏判，业务上你可以根据场景权衡。

像做用户唯一行为判断、黑名单拦截、爬虫识别，布隆过滤器都挺适用的。你甚至可以在前端配合服务端，用localStorage做个小规模缓存版。核心点就是“以空间换时间”，适合对性能要求比较高的系统。

要注意的是，布隆过滤器不能删除元素，除非你用变种结构比如 Counting Bloom Filter。还有就是哈希函数的选择关键，别随便凑合，冲突率高了，误判就多。

如果你想深入玩玩，可以看看下面这些资源，比如RowFilterQuery、HBase 过滤器这类，在实际场景里用得比较多，结合理解更快上手。

如果你最近正好在搞分布式系统、日志采集或者广告反作弊这些方向，真心建议你尝试一下布隆过滤器，用对地方，能省不少事。