Las pinturas se experimentan visualmente. Argira pregunta si su estructura puede experimentarse también mediante el sonido.
El acceso al arte visual sigue siendo una barrera para personas ciegas y con baja visión. Las descripciones verbales dan acceso solo parcial. La sonificación ofrece una alternativa que preserva la estructura.
El espectrograma WAV de salida se analiza para extraer la dimensión fractal espectral (Ds) mediante box-counting sobre STFT log-escalada.
Hann 1024-seg · overlap 768 · FFT 2048 · percentil 80 · escalas 4–64
Monet's Poppies → tono alto, timbre complejo (802 Hz, doble oscilador)
Van Gogh's Starry Night → textura densa, baja frecuencia (272 Hz, alta modulación granular)
Malevich → tono simple, silencioso
X — hue_std: variabilidad cromática. Izquierda = monocromático, Derecha = espectro completo.
Y — Ds: dimensión fractal espectral del sonido generado. Arriba = más complejo.
El color de cada punto codifica su posición en X: azul → cian → verde → ámbar.
Ds ~ hue_std + Dv + tempo
β(hue_std) = 0.3265 · t = 12.981
β(Dv) = 0.1208 · t = 3.236
β(tempo) = −0.0002 · t = −0.721
R² = 0.8417 · p < 0.001
| Correlación | r | N | Tipo |
|---|---|---|---|
| hue_std → Ds | 0.887 | 45 | Diseñada |
| hue_std → Ds (replic.) | 0.923 | 74 | Replicación |
| hue_std → Rugosidad | 0.687 | 30 | Emergente |
| hue_std → Rug. (sin outlier) | 0.790 | 29 | Emergente |
| local_contrast → freq_hz | 0.949 | 74 | Estructural |
| edge_density → effort | 0.759 | 74 | Estructural |
Argira captura estructura de pinturas que es matemáticamente medible y perceptualmente significativa, sin reglas perceptuales explícitas.
El efecto de supresión de Dv revela que la complejidad fractal visual contribuye a la auditiva independientemente del color — espejando hallazgos en correspondencias crossmodales.
Pipeline independiente (sawtooth bandlimitado, sin métricas fractales) confirma que hue_std predice rugosidad espectral emergente: r=0.687 (r=0.790 excl. Malevich). Consecuencia física de la superposición armónica, no del diseño del algoritmo. Replicado en 4 tipos de onda.
Correlación núcleo r=0.923 (R²=0.852, permutación p<0.001, N=1000). Totalmente consistente con resultado original (r=0.887, N=45). No es artefacto de selección inicial.
Dos imágenes con hue_std=0.500 idéntico pero saturación opuesta producen perfiles acústicos completamente distintos (6 vs 13 armónicos emergentes). La superposición armónica es el mecanismo generativo crítico. Ondas sinusoidales puras reducen r de 0.887 a 0.44.
Capa A (verificada): posición estéreo preserva centro de masa cromático, error <0.05.
Capa B (fuerte): local_contrast→sonic_freq_hz r=0.949; edge_density→effort r=0.759 (p<10⁻¹⁴).
Capa C (límite): inversión directa no factible actualmente — elección de diseño, no imposibilidad teórica.
Matriz sistemática de asociaciones entre 8 descriptores visuales y 7 dimensiones acústicas en 117 pinturas. Para cada par se calculan S = (|r|+|ρ|)/2 (fuerza de asociación) y δ = |ρ|−|r| (índice de no-linealidad).
4 hallazgos principales:
① Dos familias independientes — cromática (hue_std, hue_entropy_bits) → frecuencia; estructural (edge_density, luminance_contrast) → textura y tiempo.
② hue_std y hue_entropy_bits no son redundantes — predicen targets acústicos distintos independientemente.
③ fractal_D: resultado nulo honesto — poder predictivo mínimo (S máx ≈ 0.27). Reportado explícitamente.
④ Rugosidad concentra la no-linealidad — efectos de interacción no capturados por modelos lineales.
Distinción clave: estructura impuesta por el operador (S≈1.000 en hue_std→odd_bias y luminance_contrast→decay_s) vs propiedades emergentes del corpus. Esa distinción es la contribución metodológica central.
Argira Campo Perceptual (v11): campo perceptual continuo navegable en cualquier navegador. 74 obras organizadas en espacio 2D (variedad cromática × complejidad visual) con kernel Gaussiano (σ=0.18, k=7). Diseñado a partir de feedback de un usuario ciego (Felix).
74 obras organizadas en espacio bidimensional. El sonido evoluciona continuamente con el movimiento del cursor o toque — sin categorías discretas ni transiciones abruptas.
CC BY-NC 4.0 · Zenodo
10.5281/zenodo.18865019
Datasets, código fuente, análisis estadísticos y experimentos extendidos disponibles públicamente.
[1] Ramachandran & Hubbard — Synaesthesia (2001)
[2] Iosifyan et al. — Paintings & Music (2022)
[3] Spence — Crossmodal correspondences (2011)
[7] Taylor et al. — Fractal analysis of Pollock (1999)