Join与filter的顺序

根据官方文档的说法，join发生在前，filter发生在后。所以如果这样写join sql则会先将整个表join然后在按照where条件过滤：

显然这样背离了初衷。正确的写法应该是：

两种写法虽然感觉是一样的意思，理论上计算出来的结果应该也是一样。但通过实际应用，发现结果居然是不一样的，两者的结果数量可能会相差一个数量级以上，而输出正确的是第二种写法。至于为何第一种写法会出现不一样的结果，等有时间了在研究下。感觉应该是数据的问题，而不是hive有bug。

从日志也可以看到两种语句的map数量不一样，第一种会扫描全表，而第二种只扫描where条件中的特定的partition。

然而以上都不是重点

（更多…）

之前记录row_number()的使用方法，最近终于有空将窗口函数这一块完整的看一遍，在此记录。

Analytics functions

RANK()、DENSE_RANK()、ROW_NUMBER()

使用示例：

其中PARTITION by calling_nbr可选，若加上则是窗口内统计，否则则是全局统计。

部分结果如下：

（更多…）

记录日常工作中Hive相关的常用语句。之前总是东一个文件西一个文件的丢这些语句，导致需要用的时候总是找不到，要去网上重新查。

创建外部表

添加分区

设置NULL值的替代字符

OR
（更多…）

需求

最近有这么一个需求要实现，由于话单中的区号不准确，需要根据区号-号段对应表来刷新话单中的区号信息。业务逻辑类似如下：

就是将号码与区号-号段对应表中的记录来对比，返回该号码所属于的号码段的区号。在oracle中测试了下，不加limit 1是好使的。但是放到Hive中却一直报错，不认这样的语法。尝试其它方法无果，最后决定用UDF实现。

定制UDF

最大的问题

如何在UDF中读入区号-号段对应表的数据？

Hive的UDF类没有类似setup()这样的在开头调用一次的方法，只是单纯写evaluate()方法来实现逻辑，显然不能在evaluate()方法中读入区号-号段对应表的数据，否则每一次调用该方法都会重新读一次数据，开销太大，方法也太挫。GenericUDF当中有initialize()方法，但太过复杂，没法应付这次紧急需求。
（更多…）

需求

根据短信月详单实现Top 10短信联系人的功能。就是计算出每个号码发送短信最多的10个号码（由于电信业务规则，接收到的短信不会产生记录，所以只能计算发送短信最多的10个号码）。

数据全部通过datax从oracle导入到hdfs上，然后通过hive外部表的形式进行管理。

第一步

初步一看貌似用原生MapReduce比较好解决，毕竟以前用MR处理过类似的需求。但是最近刚刚建议老总将能转移到hive上用sql实现的业务全部转移过来，于是想想还是尝试用sql实现吧。

首先先试试根据发送短信号码、接收短信号码group来计算每个号码对的短信次数。

（更多…）