PiGroup Research
← Volver al inicio

Línea de Investigación · Reconstrucción Temporal de Escenas

Time-Reverse Imaging

Inferencia y reconstrucción visual de estados pasados de una escena a partir de observaciones presentes RGB e infrarrojas mediante huellas térmicas residuales y modelos de lenguaje visual.

Ver publicaciones ↓

Inferencia Temporal a partir de Rastros Térmicos

Del estado presente a la escena segundos atrás

Una cámara RGB convencional solo registra la configuración geométrica del instante actual (t). Sin embargo, el contacto humano (~37 °C) transfiere calor a las superficies, dejando huellas infrarrojas que decaen exponencialmente y actúan como una memoria física pasiva para reconstruir el estado en t − Δt.

Inspección espectral en tIR = 55%
100% RGB ↔ 100% Térmica
IItRGB en t=0 sI_t^{\text{RGB}} \text{ en } t = 0\text{ s}

Observación Presente RGB

Escena presente capturada en espectro visible RGB

En el instante presente t, el sujeto se encuentra de pie junto al escritorio. El libro rojo permanece cerrado sobre la mesa y la silla a la derecha está vacía; la imagen RGB no contiene evidencia de dónde estuvo la persona segundos antes.

IIItIR∝T(r,t)I_t^{\text{IR}} \propto T(\mathbf{r}, t)

Huella Termográfica Residual

Captura termográfica FLIR mostrando rastros de calor en la silla y el libro

La cámara térmica FLIR revela dos anomalías calóricas invisibles al ojo humano: una huella térmica intensa sobre el asiento y espaldar de la silla vacía y una traza palmar de ~26.0 °C sobre la portada del libro.

IIIx^t−Δt en Δt=15 s\hat{x}_{t - \Delta t} \text{ en } \Delta t = 15\text{ s}

Escena Pasada Reconstruida

Estado pasado reconstruido mostrando al sujeto sentado leyendo el libro

Combinando la geometría de I_t^RGB, el mapa de calor I_t^IR y el razonamiento semántico de un VLM dentro de un proceso de difusión restringido, se recupera la configuración previa: el sujeto sentado leyendo el libro.

I + II(1−α)ItRGB+αItIR(1-\alpha)I_t^{\text{RGB}} + \alpha I_t^{\text{IR}}

Superposición radiométrica RGB + Infrarrojo

Base RGB frameOverlay Thermal frame
α = 0.55

Desliza el control para superponer la captura termográfica sobre la imagen RGB en el instante t. Las zonas de transferencia de calor (asiento de la silla y superficie del libro) anclan espacialmente la hipótesis generativa del estado pasado.

Curva de disipación térmica superficial T(t) tras finalizar el contacto (Δt = 15 s)

Temperatura en zona de contacto (silla / libro)Temperatura ambiente T_ambInstante de captura t (Δt = 15 s)
T_amb ≈ 21.0 °Ct − Δt (Contacto inicial ~33.5 °C)Captura FLIR (Δt = 15 s, T ≈ 26.0 °C)

Fundamento Teórico y Metodología

Formulación del problema inverso temporal

Mientras que los problemas inversos clásicos en óptica computacional buscan recuperar señales latentes simultáneas x_t a partir de mediciones degradadas y_t = H(x_t) + η, Time-Reverse Imaging plantea estimar una escena pasada x_{t−Δt} para un horizonte Δt > 0.

01

Codificación temporal pasiva mediante difusión de calor

Cuando un cuerpo humano a temperatura fisiológica T₀ ≈ 37 °C interactúa con objetos del entorno a temperatura ambiente T_amb, transfiere energía térmica por conducción. Al cesar el contacto en t − Δt, la temperatura superficial T(r, t) decae siguiendo la ley de enfriamiento de Newton y difusión térmica:

T(r,t)=Tamb+(T(r,t−Δt)−Tamb)e−κ Δt+ηIR(r),Δt>0T(\mathbf{r}, t) = T_{\text{amb}} + \left(T(\mathbf{r}, t - \Delta t) - T_{\text{amb}}\right)e^{-\kappa\,\Delta t} + \eta_{\text{IR}}(\mathbf{r}), \qquad \Delta t > 0

donde κ depende de la difusividad térmica del material (textil, madera, papel) y η_IR modela el ruido del microbolómetro. Esta firma exponencial codifica tanto la geometría del contacto como el tiempo transcurrido Δt.

02

Inferencia semántica con VLMs y difusión condicional restringida

A partir del par multimodal presente y_t = {I_t^RGB, I_t^IR}, un primer Modelo de Lenguaje Visual (VLM) analiza las trazas calóricas para inferir una descripción estructurada c_past de la acción ocurrida en t − Δt. Esta hipótesis semántica condiciona un modelo de difusión latente guiado por un segundo VLM crítico que preserva la identidad del sujeto y el fondo estático Ω_static:

x^t−Δt=arg⁡min⁡x  ∥PΩstatic(x−ItRGB)∥22+λIR Ltrace(x,ItIR)+λVLM Ldiff(x | cpast)\hat{x}_{t - \Delta t} = \arg\min_{x} \; \left\|\mathcal{P}_{\Omega_{\text{static}}}(x - I_t^{\text{RGB}})\right\|_2^2 + \lambda_{\text{IR}}\,\mathcal{L}_{\text{trace}}\left(x, I_t^{\text{IR}}\right) + \lambda_{\text{VLM}}\,\mathcal{L}_{\text{diff}}\left(x \,\middle|\, c_{\text{past}}\right)

La imagen RGB fija la apariencia del entorno y del individuo, mientras que el mapa térmico y el descriptor semántico dirigen la síntesis de la pose humana e interacción con objetos en el pasado.

03

Evaluación cuantitativa de bajo y alto nivel (Estudio de Ablación)

Evaluamos la reconstrucción tanto en fidelidad de imagen de bajo nivel (PSNR y SSIM respecto al ground truth grabado 15 s y 30 s antes) como en consistencia semántica de alto nivel mediante precisión de objetos (OA) y error medio por articulación de pose 3D (MPJPE):

RGB Only: 15.81 dB ∣ MPJPE 395.1⟶RGB + IR + VLM: 18.12 dB ∣ MPJPE 97.81\text{RGB Only: } 15.81\text{ dB}\,|\,\text{MPJPE } 395.1 \quad\longrightarrow\quad \text{RGB + IR + VLM: } 18.12\text{ dB}\,|\,\text{MPJPE } 97.81

Sin la modalidad térmica (RGB Only), el modelo es incapaz de inferir que la persona estuvo sentada (MPJPE de 395.1 mm). Al integrar la traza térmica y el descriptor del VLM, el error de pose cae un 75.2 % y se recupera la interacción exacta con el libro.

Evidencia Experimental

Estudio de ablación y escenas de referencia

Comparación experimental entre modalidades de entrada (RGB, RGB + Térmica, y RGB + Térmica + Descriptor VLM) frente a la escena real pasada (Ground Truth).

Modalidad de EntradaBajo Nivel (PSNR ↑ / SSIM ↑)Alto Nivel (OA ↑ / MPJPE ↓)Comportamiento en la Reconstrucción
RGB únicamente15.81 dB / 0.7260.24 % / 395.1 mmFalla en localizar la posición pasada en la silla; mantiene al sujeto de pie.
RGB + Térmica (IR)18.02 dB / 0.7664.12 % / 316.9 mmUbica correctamente al sujeto sentado gracias a la huella calórica del asiento.
RGB + Térmica (IR) + Descriptor VLM18.12 dB / 0.7868.98 % / 97.81 mmRecupera tanto la postura sentada como la acción semántica de lectura del libro.
Figura 1. Estudio de ablación cuantitativo y cualitativo (fila superior: reconstrucción RGB y métricas PSNR | SSIM; fila inferior: segmentación semántica y pose 3D con métricas OA | MPJPE).
Figura 1. Estudio de ablación cuantitativo y cualitativo (fila superior: reconstrucción RGB y métricas PSNR | SSIM; fila inferior: segmentación semántica y pose 3D con métricas OA | MPJPE).
Figura 2. Escenas de prueba multimodales emparejadas: captura térmica en el presente (Thermal), imagen visible en el presente (RGB) y estado pasado real (GT).
Figura 2. Escenas de prueba multimodales emparejadas: captura térmica en el presente (Thermal), imagen visible en el presente (RGB) y estado pasado real (GT).

Producción Científica

Publicaciones en Time-Reverse Imaging

Investigación desarrollada en cooperación entre la Universidad Industrial de Santander (UIS) y GIPSA-lab (Université Grenoble Alpes).