Synthetic images of corals (Desmophyllum pertusum) with object detection models - Obst, Matthias; Al-Khateeb, Sarah; Anton, Victor; Germishuys, Jannes (University of Gothenburg, 2023)
Two object detection models using Darknet/YOLOv4 were trained on images of the coral Desmophyllum pertusum from the Kosterhavet National Park. In one of the models, the training image data was amplified using StyleGAN2 generative modeling.
The dataset contains 2266 synthetic images with labels and 409 original images of corals used for training the ML model. Included is also the YOLOv4 models and the StyleGAN2 network.

The still images were extracted from raw video data collected using a remotely operated underwater vehicle.
409 JPEG images from the raw video data are provided in 720x576 resolution. In certain images, coordinates visible in the OSD have been cropped.
The synthetic images are PNG files in 512x512 resolution.
The StyleGAN2 network is included as a serialized pickle file (*.pkl).
The object detection models are provided in the .weights format used by the Darknet/YOLOv4 package. Two files are included (trained on original images only, trained on original + synthetic images).

The machine learning software packages used is currently (2022) available on Github:
StyleGAN2: https://github.com/NVlabs/stylegan2
YOLOv4: https://github.com/AlexeyAB/darknet

Två objektigenkänningsmodeller som använder sig av Darknet/YOLOv4 har tränats på bilder av korallen Desmophyllum pertusum från Kosterhavets nationalpark. I en av modellerna har träningsbilddata förstärkts ytterligare med generativ modellering enligt StyleGAN2.
Datasetet innehåller 2266 syntetiska bilder med positionsmärken och 409 originalbilder av koraller som använts för att träna maskininlärningsmodellen. Det innehåller också YOLOv4-modellerna samt StyleGAN2-nätverket.

Bildmaterialet är ett stillbildsurval från råvideo som samlats in med en fjärrstyrd undervattensfarkost.
De 409 JPEG-bilderna från råvideon är i upplösningen 720x576. Vissa har beskurits från koordinater som varit synliga på OSD-display.
De syntetiska bilderna är i upplösningen 512x512 och i PNG-format.
StyleGAN2-nätverket finns tillgänglig som serialiserad pickle-fil (*.pkl).
Objektigenkänningsmodellerna finns med i .weights-formatet som används i Darknet/YOLOv4-paketet. Den ena modellfilen är bara tränad på originalbilder, och den andra på originalbilder tillsammans med syntetiska bilder.

Den maskininlärningsmjukvara som använts finns i dagsläget (2022) tillgänglig på Github.
StyleGAN2: https://github.com/NVlabs/stylegan2
YOLOv4: https://github.com/AlexeyAB/darknet
Syntetiska bilder av koraller (Desmophyllum pertusum) med objektigenkänningmodeller - Syntetiska bilder av koraller (Desmophyllum pertusum) med objektigenkänningsmodeller
Keywords: benthic ecosystem; corals; Habitats and biotopes; Naturtyper och biotoper; Protected sites; Skyddade områden; machine learning; maskininlärning; computer vision; computer vision; object detection; objektigenkänning; underwater image; undervattensbild; image recognition; bildigenkänning; benthic monitoring; övervakning av bentiska habitat; data augmentation; datautökning; Zoology; Zoologi; Ecology; Ekologi; Imagery / Base Maps / Earth Cover; Arealtäckande bilder och bakgrundskartor; Biota; Biologi och ekologi; Oceans; Kust och hav