Funkční vzorek kamerového systému ve 3 modifikacích

Název výstupu:

Funkční vzorek kamerového systému ve 3 modifikacích
Klíčová slova:

dataset; stable environment; focal length; light intensity; IP cameras
Dosažení výstupu:

2023
Autoři:

Petr Bartoš, Roman Bumbálek, Martin Filip, Zbyněk Havelka, Radim Kuneš, Pavel Olšan, Dominik Smutný, Luboš Smutný, Radim Stehlík, František Špalek, Karel Šramhauser, Ondřej Tupý, Jean De Dieu Marcel Ufitikirezi, Tomáš Zoubek
Vlastníci:

Jihočeská univerzita v Českých Budějovicích
AGROSOFT Tábor, s.r.o.
Kód důvěrnosti:

C - Obsah výsledku podléhá obchodnímu tajemství (§ 504 Občanského zákoníku), ale název výsledku a popis výsledku a technické parametry výsledku u druhů Z, S (údaje R06, R08, R42, RN8, R46, R37) dodané do RIV jsou upraveny tak, aby byly zveřejnitelné.

V rámci projektu FW01010391 „Vývoj systému pro nepřetržitou identifikaci a etologické sledování zvířat v chovech skotu s využitím metod umělé inteligence“ byl vytvořen funkční vzorek kamerového systému ve 3 modifikacích. Jednotlivé modifikace zmíněného systému neobsahují pouze informace o pouhém výběru a rozmístění záznamových zařízení, ale i způsoby zpracování získaných dat, následné vytvoření datasetů a jejich popis, neboť toto je nedílnou součástí komplexního kamerového systému, pomocí nějž jsou identifikována zvířata. V každé modifikaci bylo potřeba vytvořit specifický a co nejvíce variabilní dataset, který odpovídal zamýšlenému použití. V každé modifikaci bylo nutné vybrat vhodné záznamové zařízení dle požadovaných parametrů (např.: maximální rozlišení hlavního streamu videa, minimální intenzita osvětlení pro snímání obrazu, horizontální FOV (°), vertikální FOV (°), stupeň krytí IP atd. V každé modifikaci bylo monitorováno jiné prostředí a jiný počet kusů zvířat ve stádu, proto bylo nutné vždy vytvořit nový dataset a zároveň i řešit specifické rozmístění kamer a optimalizaci algoritmů využitých v předcházející modifikaci.

Modifikace č. 1: Funkční vzorek systému pro identifikaci zvířat ve skupině do 10 kusů

Kamerový systém byl navržen pro sběr dat v uzavřeném kotci o rozměrech 5x5 m. Do kotce byly vždy umístěny dvě dojnice a po dobu 1 h byl nahráván videozáznam, který následně posloužil k vytvoření obrazových dat. Vyvinutý kamerový systém se skládá ze dvou typů IP kamer (HIKVISION DS-2CD1023G0-I a HIKVISION DS-2CD1053G0-I), vždy po 1 ks. Kamery jsou umístěny na stěně v jedné linii nad sebou. První kamera (HIKVISION DS-2CD1023G0-I) je umístěna ve výšce 4,5 m a druhá kamera (HIKVISION DS-2CD1053G0-I) je ve výšce 5,5 m. Uvedené výškové umístění kamer bylo vybráno, tak aby jejich zorné pole pokrývalo celý prostor vymezený pro pohyb zvířat a zároveň aby bylo využito možnosti získat variabilnější data pomocí různých úhlů při snímání.

Obrázek 1: Obraz získaný z kamerového systému IP kamerou HIKVISION DS-2CD1053G0-I instalované ve výšce 4,5 m

Modifikace č. 2: funkční vzorek systému pro identifikaci zvířat (v modifikaci ve skupině do 30 kusů s proměnlivým počtem zvířat)

Modifikace č. 2 byla zaměřena na část stájového boxu neboli prostředí značně odlišné od prostoru využitého v rámci modifikace č. 1. Proto bylo nutné opět zvolit vhodné kamery pro získání použitelných obrazových dat. V této modifikaci byly nejdůležitějšími požadovanými parametry kamer minimální intenzita osvětlení pro snímání obrazu a maximální rozlišení hlavního streamu videa. Porovnávanými kamerami, viz tabulka 2, byly HIKVISION DS-2CD1023G0-I, HIKVISION DS-2CD2T25FWD-I8/G a HIKVISION DS-2CD2T46G2-2I. Z výše zmíněných důvodů byla vybrána pro snímání vyhrazeného prostoru kamera HIKVISION DS-2CD2T46G2-2I. Pomocí popsaných záznamových zařízení byla pořízena obrazová data, z nichž byl vytvořen trénovací dataset použitý k procesu trénování konvoluční neuronové sítě. Na obrázku 3 jsou znázorněny vybrané vlastnosti vstupního datasetu. V levé části obrázku je vizualizován výskyt pozorovaných objektů, kde je patrný jejich široký rozptyl napříč datasetem, a v pravé části je znázorněna relativní velikost bounding boxů vztažených k velikosti obrazu.

Obrázek 2: Výsledek anotace vybraného obrázku z datasetu pomocí nástroje polygon

Obrázek 3: Znázornění vlastností pozorovaných objektů ve vstupním datasetu. Vlevo – vizualizace výskytů pozorovaných objektů, vpravo – znázornění relativních velikostí bounding boxů vůči obrazu

Modifikace č. 3: funkční vzorek systému pro identifikaci zvířat ve skupině nad 30 kusů

Pro pořizování videozáznamů ze stáje byly dle navrženého schématu naistalovány kamery HIKVISION DS-2CD2T46G2-2I, které mají obrazový snímač 1/2,7" CMOS, jsou schopny zaznamenávat obraz při minimální intenzitě osvětlení 0,003 luxu, mají maximální rozlišení videa 2688x1520 pixelů a ohniskovou vzdálenost 2,8 mm. Obrazový záznam byl nepřetržitě nahráván po dobu 1 měsíce, tak aby byla získána obrazová data při různých světelných podmínkách ve stáji. Následně byly získané videozáznamy procházeny a byly filtrovány části záznamů, kde byl prostor prázdný, neboť byla zvířata odvedena na dojení, či byl záznam nedostatečně kvalitní ať již z důvodu velmi špatných světelných podmínek nebo znečištění kamery (prach, kondenzace atd.). Vytříděný videozáznam byl poté pomocí algoritmu převeden na jednotlivé obrázky.

V závěrečném roce projektu byl výše představený model doplněn o schopnost rozlišení konkrétní aktivity u identifikovaných zvířat, proto bylo nutné nejprve zvolit vhodné aktivity pro identifikaci z obrazových dat. Těmito aktivitami byly zvoleny stání v uličce, stání v ložné části, ležení v ložné části, ležení v uličce, pití a krmení. Stání a ležení v různých částech stáje byly vybrány z důvodů indikace nestandartního chování zvířete, protože například ležení zvířete v uličce je vnímáno jako nestandartní jev, který může značit nekomfort zvířete ať už z důvodu nevhodně navržené stáje či zdravotních obtíží zvířete. Identifikace krmení a pití zvířete je důležité kvůli analýze jeho denního režimu. Na rozpoznání všech těchto aktivit byla použita síť MobileNetv3.