简化版 分站 地图 日历 影视
计算器 行情 加解密 长度 面积
首页 软件 编程 笑话 知识 公告 注册 登录 用QQ登录本站
文明驾车我带头,文明行路我带头,礼貌让座我带头      

[公益] 节省一分零钱 献出一份爱心 温暖世间真情      
广告位招租中
2021年 春 节 21
2021年 情人节 23
2021年 元宵节 35
2022年 元 旦 344
全部 综合数码金融娱乐服务报刊政府机构 推荐 申请 友情  
  • 您现在的位置:首页 >> Linux >> 内容

    Linux实现文件内容去重及求交并差集

    内容摘要: 一、数据去重日常工作中,使用Hive或者Impala查询导出来可能会存在数据重复的现象,但又不想重新执行一遍查询(查询时间稍长,导出文件内容多),因此想到了使用Linux命令将文件的内容重复数据进行去除。想去掉多余的数据,只保留一条sort aaa.txt | uniqbbb.txt将aaa.txt文件中重复数据去掉,输出到bbb.txt可以看到bbb.tx......

      一、数据去重

    日常工作中,使用Hive或者Impala查询导出来可能会存在数据重复的现象,但又不想重新执行一遍查询(查询时间稍长,导出文件内容多),因此想到了使用Linux命令将文件的内容重复数据进行去除。

    想去掉多余的数据,只保留一条

    sort aaa.txt | uniq > bbb.txt

    将aaa.txt文件中重复数据去掉,输出到bbb.txt

    可以看到bbb.txt文件中只保留了一条数据


    二、数据交、并、差

    1)、交集(相当于user_2019 inner join user_2020 on user_2019.user_no=user_2020.user_no)


    sort user_2019.txt user_2020.txt | uniq -d


    2)、并集(相当于 user_2019.user_no union user_2020.user_no)


    sort user_2019.txt user_2020.txt | uniq


    3)、差集


    user_2019.txt-user_2020.txt


    sort user_2019.txt user_2020.txt user_2020.txt | uniq -u


    user_2020.txt - user_2019.txt:


    sort user_2020.txt user_2019.txt user_2019.txt | uniq -u

      版权声明:本内容来源于互联网,如有侵犯您的版权,请联系站长,本站收到您的信息后将及时处理。


    发布日期:2020/8/7 发布时间:14:55:56 点击:1500 录入:齐天大圣
  • 上一篇:linux定时任务的一些相关操作汇总
  • 下一篇:Ubuntu服务器常用命令汇总
  • 本类新增
    本类热门文章
    Baidu

    YiJiaCMS V3.88 Build 20.12.22(MSSQL) 闽ICP备05000814号-1
    本空间由景安网络提供,百度云加速提供加速防护
    齐天大圣® 制 作 ©2000-2021