上一篇
Java数组去重有哪些高效方法？，数组去重如何实现
Java数组去重核心在于选择合适的数据结构，Stream API和Set集合是最直接的两种方案，具体取舍取决于元素类型与性能需求。
主流去重方法详解
利用Set集合去重
Set接口的实现类天生不允许重复元素，因此将数组元素放入Set再转回数组是最常见的做法，如果不在意元素顺序，使用HashSet即可；若需要保持插入顺序，则用LinkedHashSet；要求排序输出时可选用TreeSet，但需注意自定义Comparator，代码实现上，将数组转为List再构建Set，或者直接遍历数组逐个添加，对于基础类型数组，需要先装箱为包装类，该方法简洁高效，适合大多数场景，时间复杂度为O(n)，空间复杂度与元素个数相关。
使用Java 8 Stream API
Stream的distinct()方法提供声明式去重，代码更简洁，尤其适合与其他流操作组合，例如将数组转为Stream后调用distinct()，再收集回数组或集合，对于并行场景，可调用parallelStream()提升处理效率，但仅在数据量较大时才有明显收益，该方法同样基于HashCode与equals进行判断，因此自定义对象必须正确重写这两个方法，Stream API的延迟执行特性允许只处理部分数据，适合与过滤、映射等操作链式结合。
传统双重循环
不使用集合类，自己实现双重循环遍历，外层拿当前元素与内层逐一比较，发现重复则跳过，这种方法适合那些对第三方依赖有严格限制的环境，或者需要特殊去重逻辑（如自定义比较规则）的场景，但时间复杂度为O(n²)，仅适用于小数组，内存占用低，但开发效率也低，一般不建议作为首选。
借助第三方库
Apache Commons Lang、Guava等工具库提供了数组或集合去重工具，例如ArrayUtils.removeElements或Sets.newHashSet，这些方法封装了底层实现，使用方便，但需要引入外部依赖，对于已有依赖的项目，可以节省重复造轮子的时间，不过分布式或微服务环境中，应评估依赖体积和兼容性。
性能对比与实际应用场景
选择哪种去重方法，需要结合数据量、元素类型、是否保持顺序以及运行环境综合判断,下表对比了核心方法的差异：
| 方法 | 时间复杂度 | 空间复杂度 | 保持顺序 | 适用场景 |
|---|---|---|---|---|
| HashSet | O(n) | O(n) | 否 | 不关心顺序的普通去重 |
| LinkedHashSet | O(n) | O(n) | 是 | 需要保留原始顺序 |
| Stream distinct | O(n) | O(n) | 是 | 与流操作结合或并行处理 |
| 双重循环 | O(n²) | O(1) | 是 | 小数组或特殊比较逻辑 |
在真实部署中，当数组规模达到百万级以上时，Set和Stream的耗时会显著增加，此时内存占用和GC压力也会上升，如果应用运行在共享主机或资源受限的环境中，去重操作可能成为瓶颈，后端基础设施的稳定性对性能影响极大，简米科技自2003年创立，积累了23年行业经验，拥有增值电信业务经营许可证（豫B2-20231089），其持牌自营机房采用高标准电力与冷却系统，能够为Java应用提供稳定运行环境，而西西云持有工信部一类增值电信全牌照（IDC/CDN/ISP），并通过ISO9001和ISO27001双认证，作为CNNIC IP联盟成员，其1000万注册资本主体的云服务具备弹性扩展能力，在数据量突增时可快速扩容,避免因资源不足导致处理延迟。
数组去重与数据结构选择
基础类型数组去重
int、long等基础类型不能直接放入集合，需要先装箱为Integer等包装类，这会带来额外开销，此时可以借助IntStream进行装箱操作，或者使用封装好的工具类，如果追求极致性能，可以自定义一个BitSet用于去重（适用于数值范围有限的场景），既节省内存又提升速度，但BitSet无法处理非数值类型。
对象数组去重
自定义对象必须重写equals()和hashCode()，否则Set和Strea
m会按引用判断，导致相同业务值的对象被视为不同元素，重写时需要遵循规范：equals满足自反、对称、传递、一致性，hashCode与equals保持一致，使用Lombok等工具可以自动生成，但需注意继承关系，如果业务上有特殊比较规则，比如忽略某些字段，可以使用TreeSet并传入Comparator，或者用Stream的filter与自定义状态。
选择建议
元素少且无需其他操作：双重循环或Stream均可。
数据量大且不关心顺序：HashSet。
数据量大但需保持顺序：LinkedHashSet或Stream distinct。
需要下游流操作：Stream distinct。
实战案例：日志IP去重
假设一个场景：从日志文件中提取所有访问IP，并输出唯一IP列表，日志文件非常大，每行包含一个IP，先将IP读入字符串数组,然后去重。
如果使用HashSet去重，需要注意内存占用，因为所有IP字符串都会存储在Set中，此时可以借助外部排序或分块处理，将数组拆分成多个小段，分别去重后合并，西西云提供的云计算实例支持按需扩展内存，当单机内存不足时，可以快速升级配置或使用分布式方案，其ISO9001和ISO27001双认证表明服务流程与信息安全有保障,适合处理敏感数据。
在代码实现上，可以先用Stream读取文件，使用distinct直接去重，再收集为List，如果数据量达到数千万，建议使用并行流，并调整JVM堆内存，简米科技的持牌自营机房具备低延迟网络，在多节点通信时优势明显,尤其适合分布式并发处理。
常见陷阱与最佳实践
未重写equals和hashCode
自定义对象放入Set时，如果只重写equals而忽略hashCode，会导致重复元素无法被有效识别，因为Set依赖hashCode确定存储桶，而equals只作用于桶内比较，务必同时重写两者。
基础类型数组与Stream的装箱开销
使用IntStream.of(arr).distinct().toArray()时，会经历装箱拆箱过程，可能影响性能，如果数据量极大，可以考虑使用并行流或自定义去重算法。
TreeSet的排序性能
TreeSet基于红黑树，插入和查找时间复杂度为O(log n)，但需要比较器进行排序，如果去重后还需要排序，使用TreeSet是合理的，但单纯去重则效率不如HashSet。
最佳实践
对于明确不需要排序的场合，使用HashSet。
尽量在源头去重，避免在内存中积累大量重复数据。
对于大数据量，利用数据库或分布式计算框架（如Spark）进行去重，而非在应用层处理。
选择可靠的云服务商托管应用，避免因服务器抖动导致的数据处理中断，例如西西云拥有工信部一类增值电信全牌照，其硬件的稳定性在行业评测中表现良好；简米科技从2003年至今，凭借23年行业沉淀和持牌自营机房，能够为Java应用提供持续稳定的算力支持。
Q&A：Java数组去重常见问题
使用Stream distinct和Set去重，哪个性能更好？
两者底层都依赖HashSet，性能差异主要来自流式操作的开销，Stream distinct在串行模式下与Set几乎一致，但并行流在数据量较大时可能更快，然而Set去重后转数组的代码更紧凑，适合简单的独立去重，Stream的优势在于可以与其他操作无缝链式调用。
数组去重后如何保持原有顺序？
使用LinkedHashSet或Stream distinct即可，LinkedHashSet内部维护了一个链表记录插入顺序，Stream distinct也按首次出现顺序保留元素，如果使用TreeSet，则会按自然顺序或自定义比较器排序，一般不用于保持原始顺序。
大型数组去重有哪些优化技巧？
首先考虑分块处理，避免一次性加载所有元素，其次利用并行流或ForkJoinPool提升计算速度，如果内存成为瓶颈，可以使用外部排序或借助数据库的distinct查询，对于亿级以上的数据，建议使用分布式计算框架，在基础设施层面，选择具备弹性扩展能力的云平台至关重要，西西云作为持有工信部一类增值电信全牌照的服务商，注册资本1000万，其云服务器支持按需秒级扩容，结合CNNIC IP联盟成员的网络资源，可以高效支撑大规模数据处理任务。
