"Python列表去重：3种简单实用的方法 & 代码示例"

2024-04-14 01:29:42 谷歌SEO ℃

为什么需要去重？

在开发中，有时候我们会遇到需要处理大量的数据或者需要进行数据分析的情况，但是数据可能存在大量重复的情况，这会影响后续的数据处理和分析。

使用集合去重

集合是Python中常用的数据类型之一，它是一个无序的、没有重复元素的序列，在需要去重时，我们可以先将列表转换为集合，再将集合转换回列表即可。

但是需要注意的是，这种方法会丢失原始列表的顺序，如果原始列表中的元素顺序比较重要的话，就不能使用集合进行去重了。

def remove_duplicates_with_set(lst):
    return list(set(lst))
    
my_list = [1, 2, 2, 3, 4, 4, 5]
new_list = remove_duplicates_with_set(my_list)
print(new_list)  # 输出：[1, 2, 3, 4, 5]

使用列表推导式和if not in语句去重

这种方法相对于上述方法来说可以保留原始列表的顺序，但是代码相对比较复杂。

def remove_duplicates_with_list_comprehension(lst):
    return [x for i, x in enumerate(lst) if x not in lst[:i]]
    
my_list = [1, 2, 2, 3, 4, 4, 5]
new_list = remove_duplicates_with_list_comprehension(my_list)
print(new_list)  # 输出：[1, 2, 3, 4, 5]

使用collections模块的OrderedDict类去重

这种方法同样可以保留原始列表的顺序，而且比起列表推导式来说更加简洁。

from collections import OrderedDict

def remove_duplicates_with_ordered_dict(lst):
    return list(OrderedDict.fromkeys(lst))

my_list = [1, 2, 2, 3, 4, 4, 5]
new_list = remove_duplicates_with_ordered_dict(my_list)
print(new_list)  # 输出：[1, 2, 3, 4, 5]