收藏文章 楼主
6种在 Python 中从 List 中删除重复项的方法
版块:网站建设   类型:普通   作者:小羊羔links   查看:261   回复:0   获赞:0   时间:2022-01-23 23:11:38

来源 | https://medium.com/@cookbug/six-ways-to-remove-duplicates-from-list-in-python-970d998b1384

翻译 | 杨小爱


Python从列表中删除重复项的方法,在本文中列出了6种方法,这些方法在许多应用程序中都会遇到。作为程序员,我们最好了解它们,以便在需要时编写有效的程序。

方法1 最简单容易的方法

此方法基于遍历整个列表,将第一个元素添加到新列表中。

# Python 3 code to demonstrate # removing duplicated from list # using naive methods 
# initializing listtest_list = [1, 3, 5, 6, 3, 5, 6, 1]print ("The original list is : " + str(test_list))
# using naive method to remove duplicated from list res = []for i in test_list: if i not in res: res.append(i)
# printing list after removal print ("The list after removing duplicates : " + str(res))

 输出结果

原始列表是 [1, 3, 5, 6, 3, 5, 6, 1]

删除重复项后的列表 [1, 3, 5, 6]

方法2 理解列表

这个方法其实是第一种方法的简化版,它使用了列表推导式,可以用一行代码代替上面的循环方法。

# Python 3 code to demonstrate # removing duplicated from list # using naive methods 
# initializing listtest_list = [1, 3, 5, 6, 3, 5, 6, 1]print ("The original list is : " + str(test_list))
# using naive method to remove duplicated from list res = []for i in test_list: if i not in res: res.append(i)
# printing list after removal print ("The list after removing duplicates : " + str(res))

方法3 使用 set()

这是从列表中删除重复元素的最流行的方法。但是,这种方法最大的缺点之一是set后列表中元素的顺序不再和原来一样。

# Python 3 code to demonstrate # removing duplicated from list # using set()
# initializing listtest_list = [1, 5, 3, 6, 3, 5, 6, 1]print ("The original list is : " + str(test_list))
# using set()to remove duplicated from list test_list = list(set(test_list))
# printing list after removal # distorted orderingprint ("The list after removing duplicates : " + str(test_list))

输出结果

原始列表是 [1, 5, 3, 6, 3, 5, 6, 1]

删除重复项后的列表 [1, 3, 5, 6]

方法 4 使用列表理解 + enumerate()

此方法使用枚举根据列表理解删除重复元素。通过检查该元素是否已存在于列表中来跳过该元素。此方法保持列表中元素的顺序。

示例代码

# Python 3 code to demonstrate # removing duplicated from list # using list comprehension + enumerate()
# initializing listtest_list = [1, 5, 3, 6, 3, 5, 6, 1]print ("The original list is : " + str(test_list))
# using list comprehension + enumerate()# to remove duplicated from list res = [i for n, i in enumerate(test_list) if i not in test_list[:n]]
# printing list after removal print ("The list after removing duplicates : " + str(res))

方法 5 使用 collections.OrderedDict.fromkeys()

这是完成特殊任务的最快方式。它首先删除列表中的重复项并返回一个字典,最后将其转换为列表。此方法也可用于字符串,之后列表中元素的顺序也发生了变化。

# Python 3 code to demonstrate # removing duplicated from list # using collections.OrderedDict.fromkeys()from collections import OrderedDict
# initializing listtest_list = [1, 5, 3, 6, 3, 5, 6, 1]print ("The original list is : " + str(test_list))
# using collections.OrderedDict.fromkeys()# to remove duplicated from list res = list(OrderedDict.fromkeys(test_list))
# printing list after removal print ("The list after removing duplicates : " + str(res))

方法 6 处理嵌套列表中的重复元素

用于多维列表(列表嵌套 重复元素移除。这里假设列表(也是一个列表 中具有相同元素(但不一定是相同顺序 的元素被认为是重复的。然后使用下面的 set() + sorted() 方法完成任务。

# Python3 code to demonstrate# removing duplicate sublist # using set() + sorted()
# initializing listtest_list = [[1, 0, -1], [-1, 0, 1], [-1, 0, 1], [1, 2, 3], [3, 4, 1]]
# printing original listprint("The original list : " + str(test_list))
# using set() + sorted()# removing duplicate sublistres = list(set(tuple(sorted(sub)) for sub in test_list))
# print resultprint("The list after duplicate removal : " + str(res))

输出结果

原始列表 [[1, 0, -1], [-1, 0, 1], [-1, 0, 1], [1, 2, 3], [3, 4, 1]]

去重后的列表 [(-1, 0, 1), (1, 3, 4), (1, 2, 3)]

您也可以使用 set() + map() + sorted()

# Python3 code to demonstrate# removing duplicate sublist # using set() + map() + sorted()
# initializing listtest_list = [[1, 0, -1], [-1, 0, 1], [-1, 0, 1], [1, 2, 3], [3, 4, 1]]
# printing original listprint("The original list : " + str(test_list))
# using set() + map() + sorted()# removing duplicate sublistres = list(set(map(lambda i: tuple(sorted(i)), test_list)))
# print resultprint("The list after duplicate removal : " + str(res))

输出结果

原始列表 [[1, 0, -1], [-1, 0, 1], [-1, 0, 1], [1, 2, 3], [3, 4, 1]]

去重后的列表 [(-1, 0, 1), (1, 3, 4), (1, 2, 3)]

本文完




学习更多技能

请点击下方

小羊羔锚文本外链网站长https://seo-links.cn 
回复列表
默认   热门   正序   倒序

回复:6种在 Python 中从 List 中删除重复项的方法

Powered by 免费发外链软文 7.12.4

©2015 - 2022 小羊羔外链网

免费发软文外链 鄂ICP备16014738号-6

您的IP:3.236.65.63,2022-12-06 22:52:26,Processed in 0.01589 second(s).

支持原创软件,抵制盗版,共创美好明天!
头像

用户名:

粉丝数:

签名:

资料 关注 好友 消息