Mistral заходит во временные ряды: Timestral-123M закрывает контекст в 32 768 шагов на обычном CPU

Французская лаборатория Mistral AI представила семейство базовых моделей для прогнозирования временных рядов Timestral, в которое вошёл чекпоинт Timestral-123M с 123 миллионами параметров. Архитектура создана для zero-shot прогнозирования (работа с новыми данными без дообучения) и принимает контекст длиной до 32 768 временных отсчётов. Модель уже доступна на Hugging Face и способна работать на стандартном процессоре или видеокарте через PyTorch.

Что за архитектура спрятана внутри чекпоинта

Timestral-123M решает задачу прогнозирования одномерных и многомерных временных рядов (pipeline time-series-forecasting). Модель не требует предварительной подгонки весов под конкретный датасет и рассчитывает вероятностные распределения сразу «из коробки». В качестве входных данных поддерживаются целевые переменные (одномерные или многомерные), а также числовые и категориальные ковариаты (дополнительные признаки, известные только в прошлом или продолжающиеся в будущее). Категориальные признаки кодируются через target encoding, а пропуски в данных подаются как стандартные значения NaN.

Конструктивно модель представляет собой patch-based трансформер из 20 слоев с размерностью эмбеддингов 640. Внимание разделено на два механизма: time attention (внимание по временной шкале) и variate attention (внимание между разными переменными). Входной ряд разбивается на патчи по 32 шага, каждый из которых кодируется вместе с бинарными индикаторами пропущенных значений.

Предельный контекст составляет 32 768 временных шагов, что соответствует 1 024 патчам. В рамках одного прямого прохода нейросеть формирует прогноз горизонтом до 1 024 шагов (32 патча). Если требуется более длинный горизонт, инференс переходит в блочный режим: прогноз генерируется кусками по 1 024 шага, а медианные предсказания каждого блока добавляются обратно в контекст для следующего шага генерации. На выходе модель отдаёт не точечное число, а 21 квантиль распределения: от 0.01 до 0.99 с шагом 0.05, включая 0.05, 0.1, 0.9 и 0.95.

Цифры с бенчмарков: сравнение внутри линейки

Mistral AI протестировала модель на трёх ключевых бенчмарках временных рядов: GIFT-Eval, TIME и fev-bench. В семейство Timestral входят четыре модели: 5M, 28M, 123M и флагманская 209M. Версия на 123M параметров выступает компромиссом между скоростью вычислений и точностью, отставая от максимальной версии 209M лишь на сотые доли метрик.

По метрике MASE (Mean Absolute Scaled Error, меньше — лучше) на GIFT-Eval модель Timestral-123M получила результат 0.659 против 0.658 у старшей версии 209M. По вероятностной метрике CRPS (Continuous Ranked Probability Score, меньше — лучше) показатель составил 0.448. В бенчмарке fev-bench модель набрала 50.18 баллов по шкале SQL skill score и 39.19 баллов по MASE skill score. Авторы заявляют, что модели линейки обходят конкурирующие решения в своих весовых категориях на графике Парето.

Условия лицензии: Modified MIT

Репозиторий распространяется под модифицированной лицензией MIT (Modified MIT license). Текст лицензии разрешает использование исходного кода и весов, однако накладывает явное юридическое ограничение на характер применения.

В карточке модели нет прямого запрета на коммерческое применение, если соблюдены стандартные условия лицензии MIT и пункт о ненарушении чужих авторских и патентных прав.

Железо и особенности запуска

Для работы с Timestral-123M не требуется тяжелых ускорителей корпоративного уровня. В документации заявлена поддержка инференса через PyTorch как на GPU, так и на CPU. За счёт компактного размера в 123 миллиона параметров вес модели в стандартной точности FP16 или BF16 составляет менее 300 мегабайт памяти.

Для развёртывания окружения потребуется стандартный интерпретатор Python с установленной библиотекой PyTorch:

pip install torch

Загрузка весов репозитория с Hugging Face выполняется стандартным обращением к идентификатору модели:

import torch

# Загрузка модели через PyTorch на доступное устройство
device = "cuda" if torch.cuda.is_available() else "cpu"
model_id = "mistralai/Timestral-123M"

Стоит ли брать

Timestral-123M подойдёт командам, которым требуется быстрое вероятностное прогнозирование длинных временных рядов без затрат на обучение узкоспециализированных сетей и закупку дорогих серверных GPU. Модель умеет работать с пропусками, внешними ковариатами и длинными хвостами истории до 32 768 отсчётов прямо на процессоре. Тем, кому критична максимальная точность в доли процента на бенчмарках, логичнее сразу тестировать флагманский вариант Timestral-209M, а для задач на микроконтроллерах лучше присмотреться к ультракомпактным версиям на 5M и 28M параметров.

Источники

• HF Releases: Mistral AI выпустила Timestral-123M — открытые веса модели