Linux 管道命令系列 五 去重命令uniq

哈喽大家好，今天咱们来聊聊Linux命令行里的一个常用工具——uniq。
这个命令是干嘛的呢？简单来说，就是用来帮你去掉列表里重复的那几行的。
为了方便大家理解，我特地创建了一个文件，叫/tmp/uniq.txt，内容大概是这样：
现在，咱们来跑个测试看看效果。
结果可能和你想的不太一样，比如“errorphpfunction”这一行，虽然它重复了，但uniq并没有把它删掉；而“onmpwwebsite”这一行，它只去掉了其中一个重复。
这说明啊，uniq默认只会检查紧挨着的重复行，不会管分散开来的。
所以，如果你发现uniq好像没干活，那很可能是因为你的数据不是连续重复的。

那咋办呢？通常我们都会把uniq和sort命令搭在一起用。
咱们再来跑个测试，看看是不是这样。

好了，现在咱们来简单看看uniq的一些常用选项：

-c 这个选项挺有意思的，它会告诉你每一行重复了几次。
比如，“errorphpfunction”出现了两次，“onmpwwebsite”出现了三次，其他的都是唯一的。

-i 这个选项表示忽略大小写。
我加了一行“ErrorPHPfunction”进去，用了这个选项之后，大小写就被无视了。

-u 这个选项更狠，它只会输出那些唯一存在的行。
结果你会发现，“errorphpfunction”和“onmpwwebsite”都没出现在输出里。

-wN 这个选项允许你指定从哪个字符开始检查重复。
比如-w2 ，那就只看每行的前两个字符。
这样，“recruisepagesite”就被认为是重复了两次，而“repeatnodata”就消失了，因为它只检查了前两个字符。

-fN 这个选项用来跳过前面的N个字段。
比如-f2 ，就表示从第二个字段开始检查重复。
这样一来，“recruisepagesite”和“onmpwwebsite”就被认为是相同的，因为它们的第三个字段不一样。
这时候你可能就需要sort命令的-k选项来调整一下检查的顺序了。

-sN 这个选项和-fN有点像，但它跳过的是字符而不是字段。

-d 这个选项只会输出重复行中的第一行。

-D 这个选项则相反，它会输出所有的重复行。

好了，关于uniq的常用选项就先介绍到这里。
如果你还想了解更多，可以直接用info uniq命令查查看。
希望今天的分享对你有帮助！

Linux系统-详解 uniq 命令（四十五）

嘿，Linux小能手们！今天我来给大家分享个uniq命令的小技巧。
这货可是Linux里用来从已经排好序的文件里剔除重复行的神器呢，输出结果直接送到屏幕上。
不过，得注意一点，uniq要的是相邻的重复行，所以排序是必须的。
它经常和sort命令手拉手，一起把文件先排排队，然后再来个“去重大作战”。

来，先做个小实验，我给你弄个testfile文件，内容如下……（这里插入文件内容示例）
没排序的文件去重？别逗了，那是无效操作。
正确的打开方式是，先用sort把文件排好序，再用uniq来个大扫除。
这样一来，uniq不仅能帮你去掉重复的行，还能告诉你每行重复了几次。
想只看重复的行和次数？加个-c选项就搞定了。
如果你想只看不重复的行，用uniq-u就对了。
要是你想把所有重复的行都秀出来，包括它们的“出场次数”，就用uniq-d。

uniq默认比较的是每一行的全部内容，但如果你想只比较前几个字符，那也没问题。
用-wN或--check-chars=N来指定吧。
比如说，你想要打印出test.txt里前三个字符相同的行，那命令就得这么写：（这里插入相应的命令示例）

复习下Linux去除重复项命令uniq

在Linux的世界里，有一个非常实用的命令叫做uniq，它专门用来处理文件中的重复项。
下面，就让我来详细介绍一下这个命令吧。

首先，uniq命令的基本功能是去除文件中的重复行。
但是要注意的是，它默认只会去除相邻的重复行，这一点在使用时要特别留意。

接下来，我们来看看uniq命令的常用选项。
首先是c选项，它可以帮助我们统计每一行数据的重复次数。
比如说，如果某一行数据重复了两次，使用c选项后，该行数据前会显示数字2
然后是i选项，它可以让我们去重时忽略大小写。
也就是说，在比较行数据时，不会区分大小写。

接着是u选项，它只会输出没有重复的数据。
也就是说，如果某一行数据在文件中出现了多次，使用u选项后，该行数据将不会被输出。

再来是wN选项，它可以从第一个字符开始，只检索前N个字符进行判重。
这个选项可以用于处理某些特定长度的数据去重问题。

然后是fN选项，它略过前面N个字段，从第N+1 个字段开始判重。
这个选项可以用于处理具有固定格式的数据文件。

接下来是sN选项，它与f选项类似，但略过的是前面N个字符，而不是字段。

然后是d选项，它只会输出有重复项的第一条数据。
也就是说，如果某一行数据重复了，只输出该行的第一次出现。

最后是D选项，它对于重复项，全部输出。
这与d选项相反，会输出所有重复的行。

在实际使用中，由于uniq默认只去除相邻的重复行，所以通常需要先使用sort命令对文件进行排序，然后再使用uniq命令进行去重。
这样可以确保所有重复的行都相邻，从而被正确去除。

如果想获取更多关于uniq命令的详细信息和使用示例，可以通过infouniq命令来了解。

总的来说，uniq命令是Linux中一个非常实用的工具，通过合理使用其选项，可以有效地解决数据去重问题。

复习下Linux去除重复项命令uniq

嘿，Linux老司机们，今天来聊聊uniq命令这个去重小能手！它就像我们整理杂物的神器，能帮我们从一堆数据里找出那些“孪生兄弟”。
用这个命令之前，别忘了先创建个文件，往里头填点料哦。
不过小贴士来了，uniq默认只认相邻重复的数据，所以你得和sort命令携手合作，才能精准地去重。

想知道哪些文件重复了多少次？试试-c选项，它会把重复次数一一数给你听。
比如，“errorphpfunction”出现了两次，“onmpwwebsite”则是三次。
大小写不同算不算重复？别担心，用-i选项就可以忽略它们啦。
还有，如果你只想看没有重复的行，就用-u，想要只看第一个N个字符的重复，就用-wN，想要从第N个字段开始判重，那就用-fN。

记住，uniq可是只看相邻的数据是否重复哦，所以对于那些间隔远的重复项，你得在sort命令上加个-k选项，才能把它们都找出来。
还有，-sN选项有点像-fN，但它是忽略字符，而不是字段。
-d选项只展示重复的第一条，而-D选项则是全都要。

想要解锁更多技能？试试在命令前加个infouniq，它能告诉你uniq的更多秘密。
这篇文章就帮你总结了uniq命令的常见用法和选项，希望能帮你轻松解决数据去重的问题哦！