时间戳窗口转换

问题起因

最近在做一个基于时间的统计功能，大体需求是统计按照 1min、10min、2h、24h 为窗口大小进行数据统计。原始数据的时间字段是 ms 时间戳，思路很简单就是直接用时间戳减去窗口大小余数，这种方式对 1min、10min、2h 的处理都没有问题，但是对 24h 的窗口处理就会有问题，可以见下面的测试。

/**
 * 获取指定时间时间戳归属的时间窗口，尽量刻度到当天
 *
 * @param timestamp 时间戳
 * @param scale     刻度，ms
 * @return {@link long}
 */
public static long getTimestampWindow(long timestamp, long scale) {
    long remain = timestamp % scale;
    return timestamp - remain ;
}

上面就是使用的时间戳窗口计算算法。

 public static void main(String[] args) throws ParseException {
     long scale = TimeUnit.HOURS.toMillis(24);
     for (int i = 0; i < 24; i++) {
         Date date = DateUtils.addHours(DateUtils.parseDate("2022-06-24", DateUtil.DATE_PATTERN), i);
         Date scaledDate = new Date(getTimestampWindow(date.getTime(), scale));
         System.out.printf("当前时间:%s,窗口时间:%s%n",
                           DateFormatUtils.format(date, DateUtil.LONG_DATE_PATTERN),
                           DateFormatUtils.format(scaledDate, DateUtil.LONG_DATE_PATTERN));
     }
 }

当使用上面的测试程序进行测试的时候发现，窗口并未预期的显示是“2022-06-24 00:00:00”，而是输出了“2022-06-23 08:00:00”及“2022-06-24 08:00:00”两种窗口，一天的数据出现了归属跨天问题。

当然如果使用 Java 里面的日期函数可以很简单的解决这个问题，但是我们返回时间数据是时间戳，直接做算术运算肯定是效率最高的。

当前时间:2022-06-24 00:00:00,窗口时间:2022-06-23 08:00:00
当前时间:2022-06-24 01:00:00,窗口时间:2022-06-23 08:00:00
当前时间:2022-06-24 02:00:00,窗口时间:2022-06-23 08:00:00
当前时间:2022-06-24 03:00:00,窗口时间:2022-06-23 08:00:00
当前时间:2022-06-24 04:00:00,窗口时间:2022-06-23 08:00:00
当前时间:2022-06-24 05:00:00,窗口时间:2022-06-23 08:00:00
当前时间:2022-06-24 06:00:00,窗口时间:2022-06-23 08:00:00
当前时间:2022-06-24 07:00:00,窗口时间:2022-06-23 08:00:00
当前时间:2022-06-24 08:00:00,窗口时间:2022-06-24 08:00:00
当前时间:2022-06-24 09:00:00,窗口时间:2022-06-24 08:00:00
当前时间:2022-06-24 10:00:00,窗口时间:2022-06-24 08:00:00
当前时间:2022-06-24 11:00:00,窗口时间:2022-06-24 08:00:00
当前时间:2022-06-24 12:00:00,窗口时间:2022-06-24 08:00:00
当前时间:2022-06-24 13:00:00,窗口时间:2022-06-24 08:00:00
当前时间:2022-06-24 14:00:00,窗口时间:2022-06-24 08:00:00
当前时间:2022-06-24 15:00:00,窗口时间:2022-06-24 08:00:00
当前时间:2022-06-24 16:00:00,窗口时间:2022-06-24 08:00:00
当前时间:2022-06-24 17:00:00,窗口时间:2022-06-24 08:00:00
当前时间:2022-06-24 18:00:00,窗口时间:2022-06-24 08:00:00
当前时间:2022-06-24 19:00:00,窗口时间:2022-06-24 08:00:00
当前时间:2022-06-24 20:00:00,窗口时间:2022-06-24 08:00:00
当前时间:2022-06-24 21:00:00,窗口时间:2022-06-24 08:00:00
当前时间:2022-06-24 22:00:00,窗口时间:2022-06-24 08:00:00
当前时间:2022-06-24 23:00:00,窗口时间:2022-06-24 08:00:00

问题分析

这是为什么呢？核心原因是因为我们处在的时区是东 8 区，在比格林尼治时间早 8 小时，时间戳 0 在零时区（UTC/GMT 0 ）表示的是“1970-01-01 00:00:00”，而在东 8 区（UTC/GMT +8.00）则表示的是“1970-01-01 08:00:00”。

public static void main(String[] args) {
    System.out.println(TimeZone.getDefault());
    System.out.println(DateFormatUtils.format(new Date(0), DateUtil.LONG_DATE_PATTERN));
    System.out.println(TimeZone.getTimeZone("UTC"));
    System.out.println(DateFormatUtils.format(new Date(0), DateUtil.LONG_DATE_PATTERN, TimeZone.getTimeZone("UTC")));
}

sun.util.calendar.ZoneInfo[id="Asia/Shanghai",offset=28800000,dstSavings=0,useDaylight=false,transitions=19,lastRule=null]
1970-01-01 08:00:00
sun.util.calendar.ZoneInfo[id="UTC",offset=0,dstSavings=0,useDaylight=false,transitions=0,lastRule=null]
1970-01-01 00:00:00

我们这里只讨论能被 24 小时整除的窗口，也就是 2h、12h 这样的，而不讨论 5h，7h 这样的窗口，因为对后面的窗口，势必存在跨天问题。也就是说如果用取余的方式来计算时间窗口的话，当时间能被 24 整除但是如果大于 8 小时（12h、24h）或者不能被 8 整除（3h、6h）时候就会出现归属窗口跨天问题。

窗口为 6h 窗口为 12h 窗口为 24h

如上图所示，其中带 - 号的代表上一天的时间，大家可以想下是不是这样？这个有点绕，一定要记得起始时间戳 0 代表的时间是 8 点。

如果能理解这个，其实就会发现对一个 24h 的窗口来说，今天 1 点的数据归属到昨天的 8 小时这个窗口是正常的，但是这个的确看起来很怪。如果时间窗口是 24h，对我们的思维来说，今天所有产生的数据就应该是归属到今天。

问题解决

既然知道了问题的原因，也知道了需求方式，也就比较容易解决这个问题。思想其实很简单，就是先把时间戳向后拉 8 小时，让“时间戳 0 代表的时间是 0 点”。在算完窗口之后，再将时间窗口向前拉 8 小时，获得真实的归属窗口。

    /**
     * 获取指定时间时间戳归属的时间窗口，尽量刻度到当天
     *
     * @param timestamp 时间戳
     * @param scale     刻度，ms
     * @return {@link long}
     */
    public static long getTimestampWindow(long timestamp, long scale) {
        timestamp = timestamp + TIMESTAMP_8H;
        long remain = timestamp % scale;
        return timestamp - remain - TIMESTAMP_8H;
    }

算法变成如上所示，再运行测试程序，就会发现时间窗口归属符合我们的期望了。

当前时间:2022-06-24 00:00:00,窗口时间:2022-06-24 00:00:00
当前时间:2022-06-24 01:00:00,窗口时间:2022-06-24 00:00:00
当前时间:2022-06-24 02:00:00,窗口时间:2022-06-24 00:00:00
当前时间:2022-06-24 03:00:00,窗口时间:2022-06-24 00:00:00
当前时间:2022-06-24 04:00:00,窗口时间:2022-06-24 00:00:00
当前时间:2022-06-24 05:00:00,窗口时间:2022-06-24 00:00:00
当前时间:2022-06-24 06:00:00,窗口时间:2022-06-24 00:00:00
当前时间:2022-06-24 07:00:00,窗口时间:2022-06-24 00:00:00
当前时间:2022-06-24 08:00:00,窗口时间:2022-06-24 00:00:00
当前时间:2022-06-24 09:00:00,窗口时间:2022-06-24 00:00:00
当前时间:2022-06-24 10:00:00,窗口时间:2022-06-24 00:00:00
当前时间:2022-06-24 11:00:00,窗口时间:2022-06-24 00:00:00
当前时间:2022-06-24 12:00:00,窗口时间:2022-06-24 00:00:00
当前时间:2022-06-24 13:00:00,窗口时间:2022-06-24 00:00:00
当前时间:2022-06-24 14:00:00,窗口时间:2022-06-24 00:00:00
当前时间:2022-06-24 15:00:00,窗口时间:2022-06-24 00:00:00
当前时间:2022-06-24 16:00:00,窗口时间:2022-06-24 00:00:00
当前时间:2022-06-24 17:00:00,窗口时间:2022-06-24 00:00:00
当前时间:2022-06-24 18:00:00,窗口时间:2022-06-24 00:00:00
当前时间:2022-06-24 19:00:00,窗口时间:2022-06-24 00:00:00
当前时间:2022-06-24 20:00:00,窗口时间:2022-06-24 00:00:00
当前时间:2022-06-24 21:00:00,窗口时间:2022-06-24 00:00:00
当前时间:2022-06-24 22:00:00,窗口时间:2022-06-24 00:00:00
当前时间:2022-06-24 23:00:00,窗口时间:2022-06-24 00:00:00