Maria Meyer M.Sc.
![[team/Meyer_web.jpg]](https://www.ient.rwth-aachen.de/cms/uploads/images/team/Meyer_web.jpg "[team/Meyer_web.jpg]")
Wissenschaftliche Mitarbeiterin
Arbeitsgruppe Bild- und Videocodierung
Forschungsgebiet
Video Codierung
Kontakt
E-Mail: meyer@ient.rwth-aachen.de
Forschungsthema
Neuronale Netzwerke für die Intraprädiktion
Ein zentraler Teil von Bild- und Videokodierungsverfahren ist die Intraprädiktion. Dabei wird versucht, den Inhalt eines zu kodierenden Bildblocks auf Grundlage der bereits dekodierten Umgebung möglichst genau vorherzusagen. So kann Redundanz aus dem Bild entfernt und der Informationsgehalt der Prädiktionsdifferenz gesenkt werden. In aktuellen Standards werden dafür die angrenzenden Pixel des Blocks entweder richtungsabhängig wiederholt oder gewichtet aufsummiert.
| In den letzten Jahren haben machine learning Verfahren, insbesondere neuronale Netze, sowohl bei der Bildanalyse und -klassifikation, als auch bei allgemeinen Prädiktionsproblemen, große Erfolge erzielt. Daher wird versucht, diese Verfahren auch für die Intraprädiktion von Videosignalen zu nutzen. Zunächst müssen dafür Netzwerke trainiert werden, die die bereits kodierte Umgebung analysieren und daraus eine Vorhersage für den gerade zu kodierenden Block generieren. Diese müssen dann in bestehende Kodierungsverfahren integriert werden. Erste Versuche haben bereits gezeigt, dass dies die Kodiereffizienz steigern kann. Aufbauend auf diesen ersten Ergebnissen wird jetzt untersucht, welche Netze und Trainingsmethoden für diesen Anwendungsfall optimal sind um die Kodiereffiziens noch weiter zu steigern und gleichzeitig den Rechenaufwand zu senken um in Echtzeit dekodieren zu können. | ![[ResearchTopics/example_predsComp120d.png]](https://www.ient.rwth-aachen.de/cms/uploads/images/ResearchTopics/example_predsComp120d.png "[ResearchTopics/example_predsComp120d.png]") |
Zu den zentralen Punkten, die dabei untersucht werden müssen gehört insbesondere die Netzarchitektur, da diese nicht nur sehr großen Einfluss auf die Prädiktionsqualität hat, sondern auch den benötigten Rechenaufwand festlegt. Ein besonders interessanter Aspekt ist dabei, ob es sich lohnt ein solches Netzwerk mehrere Prädikationen generieren zu lassen von denen dann die beste verwendet werden kann, aber auch signalisiert werden muss. Darüber hinaus ist aber auch die optimale Integration solcher Netze in das Gesamtsystem eines Videocodecs ein wichtiger Aspekt. Um möglichst wenig zusätzliche Information übertragen zu müssen, ist es insbesondere wichtig möglichst genau zu Abschätzen zu können, in welchen Fällen die netzbasierte Prädikation Verbesserungen bringt und für welche diese ungeeignet ist. Gleichzeitig legt die Integration aber auch fest, welch Informationen und Bildbereiche überhaupt für die Prädiktion eines Blocks zur Verfügung stehen.
Publikationen
M. Meyer, Neural Networks for Video Intra Prediction, vol. 25 of Aachen Series on Multimedia and Communications Engineering. Aachen: Shaker Verlag, Apr. 2024. [ bib ]
T. Meyer, M. Meyer, D. Mehlem, and C. Rohlfing, “Attribute-aware partitioning for graph-based point cloud attribute coding,” in Proc. of International Picture Coding Symposium PCS '22, (San Jose, USA), pp. 121–125, IEEE, Piscataway, Dec. 2022. [ bib | DOI | .pdf ]
J. Schneider, D. Mehlem, M. Meyer, and C. Rohlfing, “Sparse Coding-based Intra Prediction in VVC,” in Picture Coding Symposium (PCS'21), (Bristol, UK), IEEE, Piscataway, June 2021. [ bib | .pdf ]
M. Meyer, J. Wiesner, and C. Rohlfing, “Optimized convolutional neural networks for video intra prediction,” in Proc. of IEEE International Conference on Image Processing ICIP '20, IEEE, Piscataway, Oct. 2020. [ bib | more… | .pdf ]
M. Meyer, J. Wiesner, J. Schneider, and C. Rohlfing, “Convolutional neural networks for video intra prediction using cross-component adaptation,” in Proc. of IEEE International Conference on Acoustics, Speech and Signal Processing ICASSP '19, pp. 1607–1611, IEEE, Piscataway, May 2019. [ bib | more… | .pdf ]
C. Heithausen, M. Meyer, M. Bläser, and J.-R. Ohm, “Temporal Prediction of Motion Parameters with Interchangeable Motion Models,” in Proc. of IEEE Data Compression Conference DCC '17, (Snowbird, Utah, USA), IEEE, Piscataway, Apr. 2017. [ bib ]
Standardisierungsdokumente
M. Meyer and C. Rohlfing, “Ahg11-related: Investigation on cnn-based intra prediction,” Doc. JVET-U0106, Joint Video Exploration Team (on Future Video coding) of ITU-T VCEG and ISO/IEC MPEG, online, Jan. 2021. [ bib | https ]
M. Meyer, A. Tourapis, and D. Singer, “Request for 4:4:4 support in the JEM software,” Doc. JVET-F0076, Joint Video Exploration Team (on Future Video coding) of ITU-T VCEG and ISO/IEC MPEG, Hobart, AUS, Apr. 2017. [ bib | http ]
A. Tourapis, M. Meyer, and D. Singer, “A new tool for color gamut analysis of MPEG video content,” Doc. JVET-E0105, Joint Video Exploration Team (on Future Video coding) of ITU-T VCEG and ISO/IEC MPEG, Geneva, CH, Jan. 2017. [ bib | http ]
M. Meyer, A. Tourapis, D. Singer, and Y. Su, “Ahg 7: Content colour volume SEI message - observations and findings,” Doc. JCTVC-Z0043, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T VCEG and ISO/IEC MPEG, Geneva, CH, Jan. 2017. [ bib | http ]
NOTICE FOR IEEE PUBLICATIONS: © IEEE. Personal use of this material is permitted. However, permission to reprint/republish this material for advertising or promotional purposes or for creating new collective works for resale or redistribution to servers or lists, or to reuse any copyrighted component of this work in other works, must be obtained from the IEEE. Contact: Manager, Copyrights and Permissions / IEEE Service Center / 445 Hoes Lane / P.O. Box 1331 / Piscataway, NJ 08855-1331, USA. Telephone: + Intl. 908-562-3966.
![[nach_oben.gif]](https://www.ient.rwth-aachen.de/cms/uploads/images/nach_oben.gif "[nach_oben.gif]"){kind=small}