def dedup(items):no_dup_items = []seen = set()for item in items:if item not in seen:no_dup_items.append(item)seen.add(item)return no_dup_items

如果愿意也可以把上面的函数改造成一个生成器，代码如下所示：

def dedup(items):seen = set()for item in items:if item not in seen:yield itemseen.add(item)

扩展：由于Python中的集合底层使用哈希存储，所以集合(这里的集合是用set()函数创建的一个空的集合，集合的特点是无序可变序列，里面的每一个元素都是唯一的)的in和not in成员运算在性能上远远优于列表，所以上面的代码我们使用了集合来保存已经出现过的元素。集合中的元素必须是hashable对象，因此上面的代码在列表元素不是hashable对象时会失效，要解决这个问题可以给函数增加一个参数，该参数可以设计为返回哈希码或hashable对象的函数。