Google Research ra mắt TimesFM-3: Mô hình nền tảng dự báo chuỗi thời gian đa biến

Chúng tôi giới thiệu TimesFM-3, một mô hình nền tảng chuỗi thời gian tiên tiến nhất, cho phép dự báo chuỗi thời gian đa biến với độ chính xác cao chỉ trong một lần truyền tiến (forward pass), vượt trội đáng kể so với các mô hình dự báo khác trên các tiêu chuẩn đánh giá chính.

Kể từ khi TimesFM ra mắt vào năm 2024, chúng ta đã chứng kiến việc áp dụng các mô hình nền tảng chuỗi thời gian cho các tác vụ dự báo thực tế trên nhiều lĩnh vực như bán lẻ, tài chính, khả năng quan sát (observability), sản xuất, chăm sóc sức khỏe và khoa học tự nhiên.

Cho đến phiên bản TimesFM-2.5 (phát hành vào tháng 9 năm 2025), các mô hình của chúng tôi chỉ giới hạn nghiêm ngặt ở dự báo đơn biến: dự báo chỉ sử dụng lịch sử của một chuỗi thời gian duy nhất. Tuy nhiên, hầu hết các bài toán dự báo trong thế giới thực đều mang tính đa biến: nơi nhiều chuỗi thời gian và các đặc trưng ngoại lai bổ trợ cùng tác động đến dự báo tương lai của một chuỗi thời gian. Hãy xem xét việc dự báo doanh số bán kem cho một chuỗi cửa hàng bán lẻ. Dữ liệu doanh số quá khứ hiếm khi kể được toàn bộ câu chuyện. Một dự báo tốt cần phải tận dụng cả doanh số của các sản phẩm liên quan (ví dụ: ốc quế, siro), lưu lượng khách hàng lịch sử và các sự kiện tương lai đã biết như dự báo thời tiết, chương trình khuyến mãi và ngày lễ.

Hôm nay, chúng tôi giới thiệu TimesFM-3, thế hệ tiếp theo của mô hình nền tảng chuỗi thời gian, được tiền huấn luyện nguyên bản cho dự báo đa biến. TimesFM-3 có 330 triệu tham số và được tiền huấn luyện trên một tập dữ liệu chuỗi thời gian thực tế và tổng hợp bao gồm hơn 1 nghìn tỷ điểm thời gian. Kế thừa hiệu suất và khả năng tổng quát hóa zero-shot từ các phiên bản tiền nhiệm, TimesFM-3 bổ sung khả năng hỗ trợ mạnh mẽ cho các kịch bản đa biến phức tạp theo phương thức zero-shot. Nó có thể đồng thời dự đoán nhiều chuỗi thời gian cùng tiến hóa, nắm bắt các phụ thuộc giúp cải thiện độ chính xác tổng thể mà không cần tinh chỉnh (fine-tuning) theo tác vụ cụ thể. Mô hình hỗ trợ nguyên bản:

Bên trong kỹ thuật: Kiến trúc & suy luận

TimesFM-3 được xây dựng dựa trên kiến trúc transformer chỉ giải mã (decoder-only) đã được kiểm chứng từ các phiên bản tiền nhiệm. Như các phiên bản trước, chúng tôi xử lý chuỗi thời gian hiệu quả bằng cách nhóm các điểm dữ liệu liên tục thành các đoạn (patch) gồm 32 bước thời gian. Sau đó, chúng tôi áp dụng chuẩn hóa trên mỗi chuỗi thời gian tương tự như TimesFM-2.5 để xử lý các chuỗi thời gian có quy mô khác biệt lớn.

Xây dựng token đa biến

Đối với các chuỗi mục tiêu và chuỗi hiệp biến quá khứ (past-covariate), một token được xây dựng trực tiếp từ một đoạn duy nhất. Tuy nhiên, đối với các hiệp biến quá khứ-tương lai (past-future covariates), TimesFM-3 sử dụng chiến lược "nhìn trước" (lookahead) thông minh: mỗi token kết hợp đoạn hiện tại với các đoạn tương lai, cho phép mô hình nhìn thấy trước các tín hiệu đã biết.

Kiến trúc chú ý xen kẽ (Alternating attention)

Sau khi các đoạn được token hóa, chúng đi qua một khối residual đầu vào và tiến vào ngăn xếp transformer chính, hoạt động như một lưới 2D:

Hai cơ chế chú ý này xen kẽ qua nhiều lớp, kết hợp mượt mà các mô hình thời gian với các mối quan hệ giữa các chuỗi.

Giải mã phi tự hồi quy: Dự báo trong một lần truyền

Các phiên bản trước của TimesFM tạo dự báo từng đoạn một, gây ra độ trễ, tích lũy sai số và chi phí tính toán. TimesFM-3 sử dụng chiến lược Che phủ đoạn liên tục (Contiguous Patch Masking) để tạo toàn bộ khoảng thời gian dự báo trong một lần truyền tiến duy nhất. Mô hình thêm các token giữ chỗ bị che (masked) cho khoảng thời gian tương lai bên cạnh bối cảnh quan sát được. Các chuỗi mục tiêu và hiệp biến quá khứ bị che trong khoảng dự báo (vì giá trị tương lai của chúng chưa biết), trong khi các hiệp biến quá khứ-tương lai vẫn hiển thị, cung cấp cho mô hình các tín hiệu tương lai đã biết như ngày lễ hoặc sự kiện đã lên lịch. Thông qua các lớp chú ý xen kẽ, mô hình điền vào tất cả các đoạn dự báo bị che cùng lúc mà không cần vòng lặp lặp lại. Mô hình dự đoán 9 phân vị (từ phân vị thứ 10 đến 90) cho mỗi chuỗi thời gian mục tiêu tại mỗi bước dự báo, cung cấp cái nhìn xác suất đầy đủ về sự không chắc chắn của dự báo.

Ví dụ minh họa cho dự báo đa biến

Hãy quay lại ví dụ về doanh số bán kem. Hãy tưởng tượng bạn đang lên lịch khuyến mãi cho tháng tới và muốn dự báo doanh số để chuẩn bị. Một mô hình đơn biến tiêu chuẩn (đường màu đỏ, bên dưới) nhìn vào doanh số lịch sử và dự phóng mô hình hàng tuần — nhưng nó không biết về các chương trình khuyến mãi đã lên kế hoạch vào những ngày cụ thể. Chế độ đa biến của TimesFM-3 (đường màu xanh, bên dưới) áp dụng cách tiếp cận khác: bằng cách đưa lịch khuyến mãi đã lên kế hoạch vào dưới dạng hiệp biến quá khứ-tương lai, mô hình học được mối quan hệ giữa khuyến mãi và mức tăng doanh số từ bối cảnh lịch sử, sau đó áp dụng kiến thức đó vào các ngày tương lai có kế hoạch khuyến mãi. Kết quả là một dự báo dự đoán mức tăng doanh số khoảng 20% vào mỗi ngày khuyến mãi. Trong biểu đồ bên dưới, các khối màu hổ phách trong các hiệp biến khuyến mãi làm nổi bật những ngày có khuyến mãi — và dự báo màu xanh phản ứng rõ rệt với từng ngày, trong khi dự báo màu đỏ thì không. Trong cả tháng, điều này dẫn đến dự báo doanh thu chính xác hơn.

Đánh giá và tiêu chuẩn

Chúng tôi đã đánh giá TimesFM-3 trên ba tiêu chuẩn dự báo công khai toàn diện: Gift-Eval, FEV-Bench và Time. Trên cả ba tiêu chuẩn này, TimesFM-3 là mô hình xếp hạng cao nhất về cả chỉ số dự báo điểm và dự báo xác suất trong số tất cả các mô hình nền tảng đã được tiền huấn luyện. Các biểu đồ bên dưới hiển thị thứ hạng trung bình trên các tác vụ cho cả độ chính xác dự báo điểm và chất lượng dự báo xác suất (càng thấp càng tốt) cho ba tiêu chuẩn. Chúng tôi so sánh với các mô hình nền tảng gần đây bao gồm các mô hình có khả năng đa biến như Chronos-2 và dòng Toto 2.0, cũng như mô hình TimesFM-2.5 trước đây của chúng tôi.

Mỗi biểu đồ bao gồm hai mục cho TimesFM-3. Điểm "chế độ đơn biến" cho thấy hiệu suất khi mô hình được đánh giá mà không có bất kỳ thông tin hiệp biến hoặc thông tin giữa các chuỗi nào, xử lý mỗi chuỗi mục tiêu một cách độc lập, giống như một mô hình đơn biến truyền thống. Ngay cả ở chế độ đơn biến này, TimesFM-3 đã ngang bằng hoặc vượt trội so với các mô hình cạnh tranh khác. Khi chúng tôi chuyển sang chế độ đa biến đầy đủ, TimesFM-3 thực hiện một bước nhảy vọt khác, đạt thứ hạng trung bình tốt nhất trong cả dự báo điểm và dự báo xác suất trên diện rộng.

Kết luận

Chúng tôi giới thiệu TimesFM-3, thế hệ mới nhất của dòng mô hình nền tảng chuỗi thời gian zero-shot TimesFM, đạt hiệu suất dự báo đa biến và đơn biến tiên tiến nhất trên nhiều tiêu chuẩn công khai. TimesFM-3 hiện đã có sẵn trên GitHub và Hugging Face, với tích hợp BigQuery sẽ ra mắt trong những tuần tới. Trong thời gian chờ đợi, bạn có thể thử ngay TimesFM-2.5 cho các tác vụ đơn biến của mình để làm quen với lệnh AI.FORECAST trong BigQuery - không yêu cầu chuyên môn về ML.

Lời cảm ơn

Dự án này là công trình hợp tác với Yichen Zhou, Petros Mol, Abhimanyu Das và Samet Oymak.