去除重复和过滤空值

增量更新去重，简单来说，就是只采集网页中新增的内容，之前已经采集到内容不会重复采集。

如何设置增量更新？

首先，我们要选择一个字段，这个字段能够保证这条记录是唯一的。 比如新闻标题、内容页链接。 然后，点击字段下拉列表。 选择 不得重复。