Revisión de la relación de tareas realizadas y pendientes.
Reunión de seguimiento del 8 de Febrero de 2013.
Se fijan tras la reunión las siguientes:
Tareas :
- Evaluar si las tareas Ajuste de CSF en bloques de subbandas basado en la varianza y Análisis de dead-zones optimos por niveles o subbandas tienen viabilidad.
- Esquema Tesis
- Documento donde establezco bjotegaard adaptado a MSSIM y VIF
- Arreglar PETW para añadir fast arithmetic y problema imágenes 4K y 8K
- En función del esquema tesis saldrán cosas que irán en paralelo:
- Lanzar ejecuciones para completar datos tanto para Perceptual como 3D depthmaps, (añadiendo KKDU para perceptual)
- Aplicar Bjotegaard para obtener ganancias calidad y rate en toda la Tesis.
- Realización de los tests subjetivos necesarios (saldrán del análisis del contenido de la tesis).
- Escritura Tesis
Tareas Post Doc:
Relación de trabajos a intentar publicar rápido Post Doc:
- Refundido de Metricas añadiendo si procede nuevas de Bovik y VQM
- Estudio de cuantización Depth Zone y Chi optimo en función de métrica de calidad con PETW.
Líneas Futuras:
Intentar combinar la CSF en la DCT y sus aplicaciones….
Lo que sigue es la relación completa de ToDo y DONE , de la cual se ha extraído la relación te Tareas .
1 – Perceptual
1.1 Métricas
Estudio de las métricas de imagen como métricas para determinar calidad de codecs de video.
[DONE]
Articulo en: 2006 Eight IEEE International Symposium on Multimedia (ISM2006)
Estudio de las métricas en redes MANET con perdida de paquetes.
[DONE]
Articulo en: 2007 ACM Multimedia 2007 and Co-Locate Workshops (ACM 2007)
Añadir al estudio de métricas la nueva métrica de Bovik (MSSIM mejorada perceptual)
[ToDo]
Aplica un método a la MSSIM que dice que optimiza el rendimiento. Buscar código
Papers: Optimizing Multiscale SSIM for Compression via MLDS y No-Reference Image Quality Assessment in the Spatial Domain
Metodo de Bjotegaard para calcular diferencias medias de PSNR en curvas RD
[ToDo]
El Paper: Calculation of average PSNR differences between RD-curves
El método establece cómo calcular diferencias medias entre curvas RD lo que hace basándose en una ecuación polinómica de tercer orden. Propone utilizar escalas logarítmicas para apreciar mejor las diferencias.
Aplicar este método en todas las comparaciones de la Tesis, ¿mantener las actuales?
Este método se utilizó en el paper de Surrey: A Low Complexity Wavelet Based Depth Map Encoder for Low Bit Rate 3D Video Applications
Metodo de Bjotegaard para calcular diferencias medias de MSSIM y VIF en curvas RD
[ToDo]
Replicar el método de Bjoteggard para las curvas características de las métricas de calidad, al menos la MSSIM y la VIF (y la nueva MSSIM).
Al menos para la VIF ya tengo la curva característica, se trata del modelo (en matlab, en Excel no está) : General model Rat21: f(x) = (p1*x^2 + p2*x + p3) / (x + q1)
Documentar el proceso para que aparezca en la Tesis, utilizar en todas las comparativas MSSIM y VIF, ¿mantener actuales?.
Tras la tesis publicar un artículo sobre estas comparativas.
Realización de Tests Subjetivos para determinar Delta-VIF apreciable
[ToDo]
Actualmente se admite que (Buscar artículo) que un incremento de 0.5 dBs en la escala del PSNR es un incremento perceptualmente detectable, pero tampoco (creo recordar) que ese aumento sea el mismo para todo el rango.
Como usamos la VIF, tendremos que justificar de alguna manera que un incremento de 0.02 puntos VIF es visible o no, y en que rango, o cual es ese delta mínimo apreciable, y si varía en función del rango de la VIF en que nos situemos.
Realización de Tests Subjetivos para los artículos presentados
[ToDo]
Para reforzar los resultados de la VIF en los distintos artículos son necesarios los tests subjetivos.
De este modo tesis aportará que la VIF es USABLE, y si lo es la MSSIM o la nueva MSSIM.
1.2 Codificación Imagen
1.2.1 CSF
Implementar-Mejorar Ringing Artifact Removal
[ToDo]
El trabajo Ringing Artifact Removal in Digital Restored Images Using Multiresolution Edge Map el filtrado mejora en casi 4 dBs imágenes distorsionadas con un filtro gausiano pero habría que ver su comportamiento tras CSF.
Utiliza la descomposición wavelet para detectar los bordes y zonas done aplicar filtrado de-ringing.
Aplica filtros smoothing distintos en función de las zonas.
PETW Codificador de imagen con CSF y cuantizador por DeadZone
[DONE]
Es el codificador basado en el LTW con signo al que se le han quitado la cuantización por r-planes y se ha sustituido por un cuantizador con DeadZone.
El estudio del cuantizador con Deadzone, el equivalente Deadzone que llevaría el LTW, y el tamaño óptimo del DeadZone se ha realizado en : PETW – Perceptually Enhanced Tree Wavelet Encoder
Este codificador se ha utilizado para medir la calidad en el artículo enviado a la revista JASP (Journal on Advances in Signal Processing) que está pendiente. Realmente se han cogido la calidad del PETW y el resto, tiempos, aritmético rápido se ha usado el del PE_LTW.
Se ha realizado un estudio para determinar el DeadZone óptimo para PSNR y VIF pero se ha realizado con pocas imágenes.
[ToDo] Amplicar el estudio del DeadZone óptimo utilizando más imágenes de mayor tamaño, incluyendo adicionalmente la MSSM.
[ToDo] Introducir la CSF en el paso de la transformada y la inversa también. Y añadir el aritmético rápido.
PE_LTW Codificador con CSF y GPU
[DONE]
Articulo en:
Introduce la CSF en la etapa de la transformada con lo que se ahorra una pasada por la imagen respecto al PM_LTW o al PETW.
Lleva el fast arithmetic, y el rate-control, aunque con la CSF no funciona.
Realmente se han cogido la calidad del PETW y el resto, tiempos, aritmético rápido se ha usado el del PE_LTW.
[ToDo] Los resultados para las imágenes mayores de 2048×2560 son erróneos dedicar tiempo a determinar porqué y subsanarlo para poder tirar con imágenes mayores.
[ToDo] El rate control cuando se utiliza la CSF no va bien, hay que ajustarlo, se podría repetir el estudio de las curvas que hizo Oto en su Tesis.
[ToDo] El rate control estima el rate a la baja y luego añade coeficientes desde las subbandas de más alta frecuencia hacia las de baja hasta alcanzar el rate objetivo. Probar a modificar este punto para que se añadan coeficientes en el orden de subbandas importantes perceptualmente siguiendo la importancia marcada en la matriz de pesos.
Estudio de la CSF Temporal
[ToDo]
Pues eso, estudio del arte de la CSF Temporal para determinar como aplicarla en el tiempo.
El objetivo sería poder introducirla en el PM_LTW (video intra) o en algún otro basado en el PETW
1.3 Codificación Video
1.3.1 PM_LTW
PM_LTW Codificador de Video INTRA Perceptual
[DONE]
Artículo en : 2013 DCC (Data Compression Conference) – Perceptual paper
[ToDo] Los resultados para las imágenes mayores de 2048×2560 son erróneos dedicar tiempo a determinar porqué y subsanarlo para poder tirar con imágenes mayores.
[ToDo] Añadir resultados KKDU a todas las secuencias. En tiempos ya se ha añadido en el paper, pero en rendimiento falta por añadir. Es con lo que estoy ahora de cara a completar las gráficas para el Poster.
[ToDo] Realizar los Test Subjetivos reales para determinar los umbrales de calidad que se mencionan en el paper, Visual Lossless, Excellent, Good y Acceptable.
[ToDo] Realizar el POSTER para el DCC. Añadir KKDU como mínimo en las graficas a mostrar.
Post-Procesado sequencias yuv con Filtro Varuna o MSU
[DONE]
Articulo del PM_LTW en: 2013 DCC (Data Compression Conference) – Perceptual paper
Se ha intentado filtros de de-ringing a las secuencias generadas con el PM_LTW.
Se han utilizado 4 filtros distintos incluido el de Varuna.
No ha mejorado como se explica en PostProceso Deringing Filter tras CSF y PM-LTW.
Los filtros son muy costosos computacionalmente, seguramente incluso en C.
Con datos parciales (a mitad de curva R/D):
- La calidad PSNR mejora hasta 0.8 dBs dependiendo del filtro pero empeora a bajas tasas de compresión.
- La calidad VIF practicamente igual (por debajo en milésimas) pero empeora de 0.9 u. a 0.7 a bajas tasas de compresión.
1.3.2 Motion PETW
Este apartado está todo por hacer, a saber:
Añadir Rate-Control al PETW
[ToDo]
Intentar replicar el estudio de la tesis de Oto pero teniendo en cuenta que ahora el cuantizador es un DeadZone, igual hay algo hecho por ahí.
Crear la Versión Motion
[ToDo]
Se trataría de añadir poco código a la versión actual y de paso meter la CSF en la transformada y añadir el aritmético rápido.
2 – Codificación Depthmaps para 3D-TV
2.1 Cuantización adaptativa de subbandas
Codificador Wavelet para Depth Maps para Aplicaciones Low Bit-Rate
[DONE]
Articulo: En 2012 International Conference on Consumer Electronics
[ToDo] Determinar matemáticamente y adaptativamente el punto de corte (el rate) a partir del cual es conveniente eliminar los coeficientes de las subbandas determinadas en el trabajo.
2.2 3D-LTW aplicado a los Depthmaps.
3DLTW-D Wavelet encoder for depth map data compression
[DONE]
Propuesta intermedia entre INTRA e INTER para la codificación de Detph Maps.
Artículo en : 2013 DCC (Data Compression Conference) – 3DLTW-D paper
[ToDo] El trabajo funciona bien para altos frame rates aplicarlo a secuencias con rates altos:
– Conseguir secuencias con depthmaps ya con altos frame rates.
– Generar las secuencias a partir de la cámara de la placa y el uso de algún algoritmo de calculo de depth maps a partir de una secuencia monoscopica.
2.3 Incluir CSF en ámbito 3D-TV
Aplicar PETW to 2D image in 2D+depth
[ToDo]
Usar PETW para procesar los frames del video original con la CSF y ver si mejora la calidad
- Sin usar cuantización adaptativa en el depthmap
- Usando cuantización adaptativa en el depthmap
- Usando 3DLTW-D como codificador del depthmap
3. – Líneas Futuras [ToDo]
3.1 Viabilidad de introducir la CSF en la DCT
Mapeo de Coeficientes DCT de imagen completa
Analizar cómo se puede mapear los coeficientes resultantes de la transformada de Fourier sobre toda la imagen a la curva CSF.
Luego un procesamiento por bloques de los coeficientes.
Mapeo de Coeficientes DCT por bloques
Tengo mis dudas de si la CSF se puede introducir en una transformada por bloques al estilo KKDU puesto que las frecuencias espaciales e un bloque (dependiendo de su tamaño) pueden no corresponder con las de una imagen natural, aunque si lo sea.