一、APPROX_COUNT_DISTINCT
·函数语法:
·支持引擎:SparkSQL
·使用说明:返回HyperLogLog++估计的基数。relativeSD定义了允许的最大相对标准差。
·返回类型:bigint
·示例:
SELECT approx_count_distinct(col1) FROM (VALUES (1), (1), (2), (2), (3)) tab(col1); 3
二、AVG
·函数语法:
AVG(<expr> integer|double|decimal)
·支持引擎:SparkSQL、Presto。
·使用说明:返回根据组的值计算的平均值
·返回类型:double
·示例:
> SELECT avg(col) FROM (VALUES (1), (2), (3)) AS tab(col); 2.0> SELECT avg(col) FROM (VALUES (1), (2), (NULL)) AS tab(col); 1.5
三、CORR
·函数语法:
CORR(<expr> integer|double|decimal, <expr> integer|double|decimal)
·支持引擎:SparkSQL、Presto。
·使用说明:返回一组数字对之间的Pearson相关系数。
·返回类型:double
·示例:
> SELECT corr(c1, c2) FROM (VALUES (3, 2), (3, 3), (6, 4)) as tab(c1, c2); 0.8660254037844387
四、COUNT
·函数语法:
COUNT(*)COUNT([DISTINCT] <col1> ANY, <col2> ANY, …)
·支持引擎:SparkSQL、Presto。
·使用说明:
COUNT(*):返回检索到的行总数,包括包含null的行。
COUNT(<col1> ANY, <col2> ANY, …):返回提供的表达式均为非空的行数。
COUNT([DISTINCT] <col1> ANY,<col2> ANY, …):返回提供的表达式唯一且非空的行数。
·返回类型:integer
·示例:
> SELECT count(*) FROM (VALUES (NULL), (5), (5), (20)) AS tab(col); 4> SELECT count(col) FROM (VALUES (NULL), (5), (5), (20)) AS tab(col); 3> SELECT count(DISTINCT col) (FROM VALUES (NULL), (5), (5), (10)) AS tab(col); 2
五、COUNT_IF
·函数语法:
COUNT_IF(<expr> ANY)
·支持引擎:SparkSQL、Presto。
·使用说明:返回表达式为TRUE的行数。
·返回类型:int
·示例:
> SELECT count_if(col % 2 = 0) FROM (VALUES (NULL), (0), (1), (2), (3)) AS tab(col); 2> SELECT count_if(col IS NULL) FROM (VALUES (NULL), (0), (1), (2), (3)) AS tab(col); 1
六、COVER_POP
·函数语法:
COVAR_POP(<expr1> integer|double|decimal, <expr2> integer|double|decimal)
·支持引擎:SparkSQL、Presto。
·使用说明:返回一组数字对的总体协方差。
·返回类型:double
·示例:
> SELECT covar_pop(c1, c2) FROM (VALUES (1,1), (2,2), (3,3)) AS tab(c1, c2); 0.6666666666666666
七、COVER_SAMP
·函数语法:
COVAR_SAMP(<expr1> integer|double|decimal, <expr2> integer|double|decimal)
·支持引擎:SparkSQL、Presto。
·使用说明:返回一组数字对的样本协方差。
·返回类型:double
·示例:
> SELECT covar_samp(c1, c2) FROM (VALUES (1,1), (2,2), (3,3)) AS tab(c1, c2); 1.0
八、FIRST_VALUE
·函数语法:
FIRST_VALUE(<expr> T[, <isIgnoreNull> boolean])
·支持引擎:SparkSQL、Presto。
·使用说明:返回一组行的expr的第一个值。如果isIgnoreNull为true,则仅返回非null值。
·返回类型:T
·示例:
> SELECT first_value(col) FROM (VALUES (10), (5), (20)) AS tab(col); 10> SELECT first_value(col) FROM (VALUES (NULL), (5), (20)) AS tab(col); NULL> SELECT first_value(col, true) FROM (VALUES (NULL), (5), (20)) AS tab(col); 5
九、FIRST
·函数语法:
FIRST(<expr> T[, <isIgnoreNull> boolean])
·支持引擎:SparkSQL
·使用说明:返回一组行的expr的第一个值。如果isIgnoreNull为true,则仅返回非null值。
·返回类型:T
·示例:
> SELECT first(col) FROM (VALUES (10), (5), (20)) AS tab(col); 10> SELECT first(col) FROM (VALUES (NULL), (5), (20)) AS tab(col); NULL> SELECT first(col, true) FROM (VALUES (NULL), (5), (20)) AS tab(col); 5
十、KURTOSIS
·函数语法:
KURTOSIS(<expr> integer|double|decimal)
·支持引擎:SparkSQL
·使用说明:返回根据组的值计算得出的峰度值。
·返回类型:double
·示例:
> SELECT kurtosis(col) FROM (VALUES (-10), (-20), (100), (1000)) AS tab(col); -0.7014368047529627> SELECT kurtosis(col) FROM (VALUES (1), (10), (100), (10), (1)) as tab(col); 0.19432323191699075s
十一、LAST_VALUE
·函数语法:
LAST_VALUE(<expr> T[, <isIgnoreNull> boolean])
·支持引擎:SparkSQL、Presto。
·使用说明:返回一组行的expr的最后一个值。如果isIgnoreNull为true,则仅返回非null值。
·返回类型:T
·示例:
> SELECT last_value(col) FROM (VALUES (10), (5), (20)) AS tab(col); 20> SELECT last_value(col) FROM (VALUES (10), (5), (NULL)) AS tab(col); NULL> SELECT last_value(col, true) FROM (VALUES (10), (5), (NULL)) AS tab(col); 5
十二、LAST
·函数语法:
LAST(<expr> T[, <isIgnoreNull> boolean])
·支持引擎:SparkSQL
·使用说明:返回一组行的expr的最后一个值。如果isIgnoreNull为true,则仅返回非null值。
·返回类型:T
·示例:
> SELECT last(col) FROM (VALUES (10), (5), (20)) AS tab(col); 20> SELECT last(col) FROM (VALUES (10), (5), (NULL)) AS tab(col); NULL> SELECT last(col, true) FROM (VALUES (10), (5), (NULL)) AS tab(col); 5
十三、MEAN
·函数语法:
MEAN(<expr> integer|double|decimal)
·支持引擎:SparkSQL、Presto。
·使用说明:返回根据组的值计算的平均值
·返回类型:double
·示例:
> SELECT mean(col) FROM (VALUES (1), (2), (3)) AS tab(col); 2.0> SELECT mean(col) FROM (VALUES (1), (2), (NULL)) AS tab(col); 1.5
十四、PERCENTILE
·函数语法:
PERCENTILE(<col> ANY, <percentage> integer|double|decimal|array<double> [, <frequency> integer])
·支持引擎:SparkSQL、Presto。
·使用说明:返回给定百分比下数值列col的精确百分位值。percentage值必须介于0.0和1.0之间。frequency应为正整数。
·返回类型:double
·示例:
> SELECT percentile(col, 0.3) FROM (VALUES (0), (10)) AS tab(col); 3.0> SELECT percentile(col, array(0.25, 0.75)) FROM (VALUES (0), (10)) AS tab(col); [2.5,7.5]
十五、SKEWNESS
·函数语法:
SKEWNESS(<col> integer|double|decimal)
·支持引擎:SparkSQL
·使用说明:返回根据组的值计算的偏度值
·返回类型:double
·示例:
> SELECT skewness(col) FROM (VALUES (-10), (-20), (100), (1000)) AS tab(col); 1.1135657469022011> SELECT skewness(col) FROM (VALUES (-1000), (-100), (10), (20)) AS tab(col); -1.1135657469022011
十六、PERCENTILE_APPROX
·函数语法:
PERCENTILE_APPROX(<col> integer|double|decimal, <percentage> double|array<double>[, <accuracy> integer])
·支持引擎:SparkSQL、Presto。
·使用说明:返回数值列col的近似百分比,该数值是有序col值(从最小到最大排序)中的最小值,因此不超过col值的百分比小于或等于该值。percentage的值必须介于0.0和1.0之间。accuracy参数(默认值:10000)是一个正数值文字,它以内存为代价控制近似精度。精度值越高,精度越好,1.0/accuracy是近似的相对误差。当percentage是一个数组时,percentage数组的每个值必须介于0.0和1.0之间。在这种情况下,返回给定percentage数组中列col的近似百分比数组。
·返回类型:integer |array<integer>
·示例:
> SELECT percentile_approx(col, array(0.5, 0.4, 0.1), 100) FROM (VALUES (0), (1), (2), (10)) AS tab(col); [1,1,0]> SELECT percentile_approx(col, 0.5, 100) FROM (VALUES (0), (6), (7), (9), (10)) AS tab(col); 7
十七、APPROX_PERCENTILE
·函数语法:
APPROX_PERCENTILE(<col> integer|double|decimal, <percentage> double|array<double>[, <accuracy> integer])
·支持引擎:SparkSQL、Presto。
·使用说明:返回数值列col的近似百分比,该数值是有序col值(从最小到最大排序)中的最小值,因此不超过col值的百分比小于或等于该值。percentage的值必须介于0.0和1.0之间。accuracy参数(默认值:10000)是一个正数值文字,它以内存为代价控制近似精度。精度值越高,精度越好,1.0/accuracy是近似的相对误差。当percentage是一个数组时,percentage数组的每个值必须介于0.0和1.0之间。在这种情况下,返回给定percentage数组中列col的近似百分比数组。
·返回类型:integer |array<integer>
·示例:
> SELECT APPROX_PERCENTILE(col, array(0.5, 0.4, 0.1), 100) FROM (VALUES (0), (1), (2), (10)) AS tab(col); [1,1,0]> SELECT APPROX_PERCENTILE(col, 0.5, 100) FROM (VALUES (0), (6), (7), (9), (10)) AS tab(col); 7
十八、MAX
·函数语法:
MAX(<col> integer|double|decimal)
·支持引擎:SparkSQL、Presto。
·使用说明:返回col的最大值。
·返回类型:与col一致
·示例:
> SELECT max(col) FROM (VALUES (10), (50), (20)) AS tab(col); 50
十九、MAX_BY
·函数语法:
MAX_BY(<x> T, <y> integer|double|decimal)
·支持引擎:SparkSQL、Presto。
·使用说明:返回与y的最大值关联的x值。
·返回类型:T
·示例:
> SELECT max_by(x, y) FROM (VALUES (('a', 10)), (('b', 50)), (('c', 20))) AS tab(x, y); b
20、MIN
·函数语法:
MIN(<col> integer|double|decimal)
·支持引擎:SparkSQL、Presto。
·使用说明:返回col的最小值。
·返回类型:与col一致
·示例:
> SELECT min(col) FROM (VALUES (10), (50), (20)) AS tab(col); 10
21、MIN_BY
·函数语法:
MIN_BY(<x> T, <y> integer|double|decimal)
·支持引擎:SparkSQL、Presto。
·使用说明:返回与y的最小值关联的x值。
·返回类型:T
·示例:
> SELECT min_by(x, y) FROM (VALUES (('a', 10)), (('b', 50)), (('c', 20))) AS tab(x, y); a
22、STD
·函数语法:
STD(<col> integer|double|decimal)
·支持引擎:SparkSQL、Presto。
23、使用说明
SparkSQL:返回根据组的值计算的样本标准偏差。
Presto:返回根据组的值计算的总体标准偏差。
·返回类型:double
·示例:
> SELECT std(col) FROM (VALUES (1), (2), (3)) AS tab(col); 1.0
24、STDDEV
·函数语法:
STDDEV(<col> integer|double|decimal)
·支持引擎:SparkSQL、Presto。
·使用说明:返回根据组的值计算的样本标准偏差。
·返回类型:double
·示例:
> SELECT stddev(col) FROM (VALUES (1), (2), (3)) AS tab(col); 1.0
25、STDDEV_POP
·函数语法:
STDDEV_POP(<col> integer|double|decimal)
·支持引擎:SparkSQL、Presto。
·使用说明:返回根据组的值计算的总体标准偏差。
·返回类型:double
·示例:
> SELECT stddev_pop(col) FROM (VALUES (1), (2), (3)) AS tab(col); 0.816496580927726
26、STDDEV_SAMP
·函数语法:
STDDEV_SAMP(<col> integer|double|decimal)
·支持引擎:SparkSQL、Presto。
·使用说明:返回根据组的值计算的样本标准偏差。
·返回类型:double
·示例:
> SELECT stddev_samp(col) FROM (VALUES (1), (2), (3)) AS tab(col); 1.0
27、SUM
·函数语法:
SUM(<col> integer|double|decimal)
·支持引擎:SparkSQL、Presto。
·使用说明:返回根据组的值计算的总和。
·返回类型:与col一致
·示例:
> SELECT sum(col) FROM (VALUES (5), (10), (15)) AS tab(col); 30> SELECT sum(col) FROM (VALUES (NULL), (10), (15)) AS tab(col); 25> SELECT sum(col) FROM (VALUES (NULL), (NULL)) AS tab(col); NULL
28、VARIANCE
·函数语法:
VARIANCE(<col> integer|double|decimal)
·支持引擎:SparkSQL、Presto。
·使用说明:返回根据组的值计算的样本方差。
·返回类型:double
·示例:
> SELECT VARIANCE(col) FROM (VALUES (1), (2), (3)) AS tab(col); 1.0
29、VAR_POP
·函数语法:
VAR_POP(<col> integer|double|decimal)
·支持引擎:SparkSQL、Presto。
·使用说明:返回根据组的值计算的总体方差。
·返回类型:double
·示例:
> SELECT var_pop(col) FROM (VALUES (1), (2), (3)) AS tab(col); 0.6666666666666666
30、VAR_SAMP
·函数语法:
VAR_SAMP(<col> integer|double|decimal)
·支持引擎:SparkSQL、Presto。
·使用说明:返回根据组的值计算的样本方差。
·返回类型:double
·示例:
> SELECT var_samp(col) FROM (VALUES (1), (2), (3)) AS tab(col); 1.0
31、HISTOGRAM_NUMERIC
·函数语法:
HISTOGRAM_NUMERIC(<col> integer, <nb> integer)
·支持引擎:Presto
·使用说明:使用nb个非均匀间隔的bin计算组中数字列的直方图。输出是一个大小为nb的(x,y)坐标数组,表示bin的中心和高度。
·返回类型:array<struct {'x','y'}>
·示例:
> SELECT histogram_numeric(col, 5) FROM (VALUES (0), (1), (2), (10)) AS tab(col); [{"x":0,"y":1.0},{"x":1,"y":1.0},{"x":2,"y":1.0},{"x":10,"y":1.0}]
32、COLLECT_LIST
·函数语法:
COLLECT_LIST(<col> T)
·支持引擎:SparkSQL、Presto。
·使用说明:收集并返回非唯一元素的列表。
·返回类型:array<T>
·示例:
> SELECT collect_list(col) FROM (VALUES (1), (2), (1)) AS tab(col); [1,2,1]
33、COLLECT_SET
·函数语法:
COLLECT_SET(<col> T)
·支持引擎:SparkSQL、Presto。
·使用说明:收集并返回一组唯一的元素。
·返回类型:array<T>
·示例:
> SELECT collect_set(col) FROM (VALUES (1), (2), (1)) AS tab(col); [1,2]
34、COUNT_MIN_SKETCH
·函数语法:
COUNT_MIN_SKETCH(<col> T, <eps> double, <confidence> double, <seed> integer)
·支持引擎:SparkSQL
·使用说明:返回具有给定esp、confidence和seed的列的count min sketch。结果是binary,可以在使用前反序列化为CountMinSketch。
·返回类型:binary
·示例:
> SELECT hex(count_min_sketch(col, 0.5d, 0.5d, 1)) FROM (VALUES (1), (2), (1)) AS tab(col);0000000100000000000000030000000100000004000000005D8D6AB90000000000000000000000000000000200000000000000010000000000000000
35、EVERY
·函数语法:
EVERY(<col> boolean)
·支持引擎:SparkSQL、Presto。
·使用说明:如果col的所有值均为true,则返回true。
·返回类型:boolean
·示例:
> SELECT every(col) FROM (VALUES (true), (true), (true)) AS tab(col); true> SELECT every(col) FROM (VALUES (NULL), (true), (true)) AS tab(col); true> SELECT every(col) FROM (VALUES (true), (false), (true)) AS tab(col); false
36、BOOL_AND
·函数语法:
BOOL_AND(<col> boolean)
·支持引擎:SparkSQL、Presto。
·使用说明:如果col的所有值均为true,则返回true。
·返回类型:boolean
·示例:
> SELECT bool_and(col) FROM (VALUES (true), (true), (true)) AS tab(col); true> SELECT bool_and(col) FROM (VALUES (NULL), (true), (true)) AS tab(col); true> SELECT bool_and(col) FROM (VALUES (true), (false), (true)) AS tab(col); false
37、AND
·函数语法:
<expr1> AND <expr2>
·支持引擎:SparkSQL、Presto。
38、使用说明
逻辑与
·返回类型:boolean
·示例:
> SELECT true and true; true> SELECT true and false; false> SELECT true and NULL; NULL> SELECT false and NULL; false
39、OR
·函数语法:
<expr1> OR <expr2>
·支持引擎:SparkSQL、Presto。
·使用说明:逻辑或
·返回类型:boolean
·示例:
> SELECT true or false; true> SELECT false or false; false> SELECT true or NULL; true> SELECT false or NULL; NULL
40、ANY
·函数语法:
ANY(<col> boolean)
·支持引擎:SparkSQL、Presto。
·使用说明:如果col的至少一个值为true,则返回true。
·返回类型:boolean
·示例:
> SELECT any(col) FROM (VALUES (true), (false), (false)) AS tab(col); true> SELECT any(col) FROM (VALUES (NULL), (true), (false)) AS tab(col); true> SELECT any(col) FROM (VALUES (false), (false), (NULL)) AS tab(col); false
41、SOME
·函数语法:
SOME(<col> boolean)
·支持引擎:SparkSQL、Presto。
·使用说明:如果col的至少一个值为true,则返回true。
·返回类型:boolean
·示例:
> SELECT some(col) FROM (VALUES (true), (false), (false)) AS tab(col); true> SELECT some(col) FROM (VALUES (NULL), (true), (false)) AS tab(col); true> SELECT some(col) FROM (VALUES (false), (false), (NULL)) AS tab(col); false
42、BOOL_OR
·函数语法:
BOOL_OR(<col> boolean)
·支持引擎:SparkSQL、Presto。
·使用说明:如果col的至少一个值为true,则返回true。
·返回类型:boolean
·示例:
> SELECT BOOL_OR(col) FROM (VALUES (true), (false), (false)) AS tab(col); true> SELECT BOOL_OR(col) FROM (VALUES (NULL), (true), (false)) AS tab(col); true> SELECT BOOL_OR(col) FROM (VALUES (false), (false), (NULL)) AS tab(col); false
43、BIT_AND
·函数语法:
BIT_AND(<col> integer|bigint)
·支持引擎:SparkSQL、Presto。
·使用说明:返回所有非空输入值的按位AND,如果没有,则返回null。
·返回类型:与col一致
·示例:
> SELECT bit_and(col) FROM (VALUES (3), (5)) AS tab(col); 1
44、BIT_OR
·函数语法:
BIT_OR(<col> integer|bigint)
·支持引擎:SparkSQL、Presto。
·使用说明:返回所有非空输入值的按位OR,如果没有,则返回null。
·返回类型:与col一致
·示例:
> SELECT bit_or(col) FROM (VALUES (3), (5)) AS tab(col); 7
45、BIT_XOR
·函数语法:
BIT_XOR(<col> integer|bigint)
·支持引擎:SparkSQL、Presto。
·使用说明:返回所有非空输入值的按位XOR,如果没有,则返回null。
·返回类型:与col一致
·示例:
> SELECT bit_xor(col) FROM (VALUES (3), (5)) AS tab(col); 6
46、ARG_MIN
·函数语法:
ARG_MIN(<col1>, <col2> | expr(col2))
·支持引擎:SparkSQ
·使用说明:指定列col1最小的那一行,按指定的计算表达式返回。
·col1: 可排序的列名,如果为常量,那么会返回任意值。如果有多个最小值,会随机返回其中一行。
·返回类型:与col2或expr(col2)类型一致。
·示例:
> SELECT arg_min(dt, uid) from values (1, 'm1'), (2, 't2'), (3, 'z3') as tab(dt, uid);m1> SELECT arg_min(dt, upper(uid)) from values (1, 'm1', 1), (2, 't2', 1), (3, 'z3', 2) as tab(dt, uid, gid) group by gid;M1Z3
47、ARG_MAX
·函数语法:
ARG_MAX(<col1>, <col2> | expr(col2))
·支持引擎:SparkSQL
·使用说明:指定列col1最大的那一行,按指定的计算表达式返回。
·col1: 可排序的列名,如果为常量,那么会返回任意值。如果有多个最大值,会随机返回其中一行。
·返回类型:与col2或expr(col2)类型一致。
·示例:
> SELECT arg_max(dt, uid) from values (1, 'm1'), (2, 't2'), (3, 'z3') as tab(dt, uid);z3> SELECT arg_max(dt, upper(uid)) from values (1, 'm1', 1), (2, 't2', 1), (3, 'z3', 2) as tab(dt, uid, gid) group by gid;T2Z3
48、MAP_UNION_SUM
·函数语法:
MAP_UNION_SUM(map<k, v> input)
·支持引擎:SparkSQL
·使用说明:指定列,将map按key值求和所有的value。
·注意1:允许聚合的数据为null,全部为null时输出为null。
·注意2:允许key的value为null,此时会转换为数字0。
·返回类型:与输入类型一致。
·示例:
> SELECT map_union_sum(ids) from values (map(1, 1)), (map(1,2)), (map(2,1)) as tab(ids);{1:3,2:1}> SELECT idx, map_union_sum(ids) from values (map(1, 1), 1), (map(1,2), 1), (map(2,1), 1) as tab(ids, idx) group by idx;1 {1:3,2:1}