Summary:
Kultūros paveldo apsauga yra vienas iš šiuolaikinės visuomenės iššūkių. Tačiau kultūros paveldo išsaugojimo organizacijos neturi pakankamai žmogiškųjų, technologinių ir finansinių išteklių, kurie yra gyvybiškai svarbūs norint sėkmingai įgyvendinti kultūros paveldo apsaugą. Šiai problemai spręsti gali būti pasitelkta automatinė monitoringo ir jo rezultatų analizės sistema, grindžiama trimačio vaizdo ir dirbtinio intelekto technologijų taikymu. Tokia idėja remiasi teoriniu požiūriu, kad yra galimybė, naudojantis dirbtinio intelekto technologijomis, tiksliai identifikuoti to paties nekilnojamojo kultūros paveldo objekto dviejų skirtingų laikotarpių 3D taškų debesų skirtumus, kurie parodo per atitinkamą laikotarpį įvykusius pokyčius. Pasiūlytas sprendimas įgyvendinamas Lietuvos mokslo tarybos finansuojamame projekte „Urbanizuotų vietovių paveldo automatinis monitoringas panaudojant 3D vaizdo technologijas“. Straipsnyje pristatomi pirmieji projekto rezultatai.
Keywords: nekilnojamasis paveldas, 3D skenavimas, dirbtinis intelektas, paveldo monitoringas.
Abstract:
Preservation of immovable cultural heritage is one of the main challenges for contemporary society. Nowadays very often organizations responsible for heritage management constantly have to deal with lack of resources, which are crucial for proper heritage preservation, maintaining and protection. The possible solution of these problems could be automated heritage monitoring, based on the 3D and AI technologies. 3D scanning technology is the most accurate method to capture the situation of an evolving cultural heritage object or complex at a given time. As a cultural heritage object or complex is evolving continuously, AI based comparison of two 3D point clouds created at different time allow to reliably trace potential changes. Proposed solution is realized by project financed by Research Council of Lithuania „Automated monitoring of urban heritage implementing 3D technologies”. The first results of the project are presented at this article.
Keywords: immovable heritage, 3D scanning, artificial intelligence, monitoring of cultural heritage.
Articles
Nekilnojamojo kultūros paveldo monitoringas taikant 3D ir dirbtinio intelekto technologijas1
Monitoring of Immovable Cultural Heritage Implementing 3D and Artificial Intelligence Technologies

Recepción: 10 Enero 2020
Aprobación: 21 Enero 2020
Nekilnojamojo kultūros paveldo (archeologinio, architektūrinio, urbanistinio ir kt.) tvarkyba apima daug sudėtingų, laikui ir finansams imlių procesų. Šių procesų realizavimo problemos išryškėja paveldo ir šiuolaikinės infrastruktūrų plėtros sankirtoje (miestų, kelių, geležinkelių, energetikos infrastruktūros plėtra, pastatų pritaikymas šių laikų poreikiams, turizmo paslaugų plėtra, nelegalūs archeologiniai kasinėjimai, karo veiksmai ir kt.). Panašias problemas ir poreikį akcentuoja ir Lietuvos institucijos. Pavyzdžiui, Valstybinės paveldosaugos komisijos pažymoje ,,Lietuvos urbanistikos paveldas: apskaita, planavimas, paveldosauginių reikalavimų taikymas, tvarkybos skatinimas ir ankstesnių komisijos sprendimų įgyvendinimas“ nurodoma, kad didžiųjų miestų senamiesčius ir jų istorines dalis labiausiai žaloja kaita, kuriai turi įtakos ir netinkamas jų naudojimas.
Paveldo priežiūros ir tvarkybos institucijos, naudodamosi turimais ištekliais ir technologijomis, negali nuolat stebėti kintančio nekilnojamojo paveldo didelėse teritorijose. Tarptautinės organizacijos Global Heritage Fund požiūriu, viena svarbiausių grėsmių paveldui yra nepakankamas jo valdymas ir efektyvaus monitoringo trūkumas. Taip pat pažymima, kad esamos monitoringo priemonės yra neefektyvios, o efektyviai paveldosaugai užtikrinti pirmiausia reikalinga sistemiška, metodiškai pagrįsta esminių vertingųjų savybių bei dalių, elementų stebėsena (Managing…, 2010). Ir tam taikytini kitokie, inovatyvūs technologiniai sprendimai. UNESCO ,,Strategy for Reducing Risks from Disasters at World Heritage Properties“ požiūriu, viena svarbiausių rizikas mažinančių priemonių yra inovatyvių technologijų taikymas (Strategy…, 2007).
Atsižvelgiant į šiuolaikinių technologijų galimybes, nekilnojamojo paveldo problemų sprendimui gali būti pasitelkta monitoringo ir jo rezultatų analizės sistema, grindžiama trimačio vaizdo ir dirbtinio intelekto technologijų taikymu. Ši idėja grindžiama teoriniu požiūriu, kad yra galimybė, naudojantis dirbtinio intelekto technologijomis, tiksliai identifikuoti to paties nekilnojamojo kultūros paveldo objekto dviejų skirtingų laikotarpių 3D taškų debesų skirtumus, kurie parodo per atitinkamą laikotarpį įvykusius pokyčius. Tokie sprendimai gali būti taikomi visiems nekilnojamojo paveldo objektams, kurių pokyčiai susiję su tūrio ar paviršiaus kontūrų pasikeitimu (nelegalūs kasinėjimai archeologijos paveldo objektuose, perstatymai senamiesčiuose, žemės darbai kultūriniame kraštovaizdyje).
Lietuvoje archeologijos srityje pirmieji bandymai atlikti 3D fiksaciją tyrimų metu įvyko 2007 m., kai šiuo metodu buvo fiksuoti Rokantiškių piliavietė (archeologas Zenonas Baubonis) ir buvusių bažnyčių pamatai Dubingių piliavietėje (archeologai Albinas Kuncevičius, Rimvydas Laužikas). Trimačio nuskaitymo darbus abiejuose objektuose atliko UAB „Terra Modus“ specialistas Renatas Mažeika (Kuncevičius ir kt., 2009, p. 126; Kuncevičius ir kt., 2012, p. 10). Vėliau tokių bandymų buvo Trakų miesto parapinės bažnyčios, Senųjų Trakų piliavietės, Klaipėdos piliavietės, Vilniaus didžiosios sinagogos, Vilniaus aukštutinės pilies gynybinės sienos tyrimų metu ir kitur. Gana plačiai taikoma 3D metodika kraštovaizdžio ir archeologinių objektų aplinkos tyrimuose – LIDAR (Light Detection and Ranging) skaitytuvas iš oro. Būta bandymų netgi sukurti automatizuotą pilkapių paieškos įrankį, panaudojant LIDAR technologija sukauptus duomenis (Laužikas ir kt., 2017, p. 160 – 179). Nors dirbtinio intelekto naudojimas archeologijoje jau turi kelių dešimtmečių istoriją (Patel, 1989; Puyol-Gruart, 1998; Dries, 1998; Barcelo, 2008; Gardin, 2009), 3D duomenų analizei šios, dirbtinio intelekto technologijos su giliuoju mokymusi ir giliųjų neuroninių tinklų modelių architektūra, pradėtos taikyti tik palyginti neseniai (Gualandi ir kt., 2016; Palma, 2019; Pirotti ir kt., 2019).
Vis tobulesnės analizės technologijos, ypač nuo 2012 m. pradėjus taikyti dirbtinio intelekto technologijas – giliuoju apsimokymu ir giliaisiais neuroniniais tinklais grįstą kompiuterio regą – ir gerokai sumažėję duomenų rinkinių formavimo kaštai sudaro sąlygas mokslininkų ir tyrėjų bendruomenei atlikti kokybiškai naujus 3D informacijos tyrimus, ieškant kompiuterio regos problemų, susijusių su 3D aplinkos supratimu, efektyvesnio sprendimo. Žmogus gyvena ir veikia 3D aplinkoje, todėl ir efektyvioms dirbtinio intelekto sistemoms reikia suteikti kuo geriausią 3D erdvės supratimą. Informacija apie gelmę ir pilnas 3D geometrijos nustatymas leidžia geriau atpažinti 3D objektus, juos klasifikuoti ir semantiškai segmentuoti, geriau nustatyti 3D formas. Šių problemų sprendimų pažanga, kai kuriais atvejais jau prilygstanti žmogaus galimybėms, o atskirais atvejais jas jau viršijanti, leidžia kurti ir įgyvendinti efektyvius praktinių panaudos atvejų sprendimus. Šiame straipsnyje pristatomas pirmasis nekilnojamojo kultūros paveldo monitoringo sistemos, taikant 3D ir dirbtinio intelekto technologijas, kūrimo etapas: 1) paveldo kaitą lemiančių gamtinių ir antropogeninių veiksnių, reikšmingų kuriant automatinio monitoringo metodologiją, analizė ir 2) tolesnėse tyrimų veiklose naudojamo fiksuotų pažaidos veiksnių kriterijų, su jais susijusių paveldo objektų bei jų komponentų aprašo parengimas. Nors tyrimų ir monitoringo objektu (dėl itin didelės kaitos ir potencialios pažaidos galimybių) pasirinktas urbanistinis paveldas, straipsnyje pristatomi sprendimai taikytini visoms nekilnojamojo paveldo rūšims, taip pat ir archeologijos paveldui. Tikimasi, kad šis straipsnis ir jame pristatomos idėjos paskatins archeologų domėjimąsi šiandienos teikiamomis 3D bei dirbtinio intelekto technologijų galimybėmis ir naujų idėjų kūrimą. Taip pat šis straipsnis yra gera proga dar kartą susipažinti su Lietuvos paveldosaugos sistemos dalimi, nuo kurios neatsiejama yra ir archeologų bendruomenė.
Urbanistinio kultūros paveldo vertingųjų savybių aibės apibrėžimas priklauso nuo taikomo koncepto (teorinio požiūrio). Lietuvos teisės aktuose šis paveldas suvokiamas taikant istorinį konceptą, pagal kurį akcentuojamas saugotinų miesto erdvių istoriškumas (istorinis pobūdis) ir istorinis autentiškumas, įskaitant istoriškai susiklosčiusius: miesto struktūras (gatvės, erdvės); ryšius, siejančius pastatus ir žaliąsias bei atvirąsias erdves; formalią išvaizdą (pastatų interjerus ir eksterjerus, apibrėžiamus dydžiais, architektūriniais stiliais, medžiagomis, spalvomis, puošyba); ryšius tarp miesto ir jį supančios aplinkinės gamtinės ir kultūrinės erdvės; įvairias funkcijas, kurios skirtingais laikais buvo vykdomos mieste (Charter for the Conservation, 1987). Lietuvos nekilnojamojo kultūros paveldo klasifikacijoje urbanistinis paveldas – reikšmingomis pripažintos istorinės miestų dalys, miesteliai ir panašios vietos bei vietovės (Lietuvos Respublikos, 1994), o jo vertingosios savybės apibrėžiamos kaip „kultūros paveldo objekto, vietovės, jų dalies ar elemento bruožas, vertingas etniniu, istoriniu, estetiniu ar moksliniu požiūriu“. Nekilnojamojo paveldo objektai yra klasifikuojami pagal vertingųjų savybių pobūdį ir jų derinį (Lietuvos Respublikos, 1994). Pastatų vertingosios savybės nustatomos, kai ruošiamasi atlikti tvarkybos darbus ar griauti pastatus, kuriems yra daugiau kaip 50 metų (išskyrus Vilniaus senamiestį, kuriame galioja Vilniaus senamiesčio apsaugos reglamentas). Pagal įstatymą „kultūros paveldo objektų ar vietovių vertingąsias savybes nustato ir jų teritorijų bei kultūros paveldo objektų apsaugos zonų ribas apibrėžia Kultūros paveldo departamento ir savivaldybių sudarytos nekilnojamojo kultūros paveldo vertinimo tarybos“, kurių kompetencijos ribos apibrėžiamos per paveldo reikšmingumo lygmenis. „Savivaldybės ar kelių savivaldybių sudarytos vertinimo tarybos sprendžia dėl savivaldybės teritorijoje esančio vietinio reikšmingumo lygmens nekilnojamojo kultūros paveldo vertingųjų savybių ir vietinio reikšmingumo lygmens nustatymo, vietinio reikšmingumo lygmens nekilnojamojo kultūros paveldo teritorijos ribų apibrėžimo ir apsaugos reikalingumo, apsaugos vietinio reikšmingumo lygmens nekilnojamosioms kultūros vertybėms netaikymo ar tokių vertybių apskaitos duomenų tikslinimo. Departamento vertinimo tarybos sprendžia dėl Lietuvos Respublikos teritorijoje esančio nekilnojamojo kultūros paveldo vertingųjų savybių nustatymo, teritorijos ribų apibrėžimo ir nacionalinio, regioninio ar vietinio reikšmingumo lygmens nekilnojamosioms kultūros vertybėms nustatymo, apsaugos reikalingumo, apsaugos nekilnojamosioms kultūros vertybėms netaikymo ar tokių vertybių apskaitos duomenų tikslinimo“ (ten pat).
Taigi paveldo (taip pat ir urbanistinio) išsaugojimas iš esmės yra objektams ir jų kompleksams priskirtų vertingųjų savybių išsaugojimas. Urbanistinio paveldo atveju Lietuvoje skiriamos kelios vertingųjų savybių grupės. „Nekilnojamųjų kultūros vertybių vertinimo, atrankos ir reikšmingumo lygmens nustatymo kriterijų aprašo“ 1 priede yra apibrėžtos vertinamų objektų ar vietovių, jų dalių ir elementų pavyzdinės vertingosios savybės. Remiantis šių savybių sąrašu, rengiami Nekilnojamojo kultūros paveldo tarybų aktai ir pateikiami duomenys Kultūros vertybių registre (Kultūros vertybių registras).
Remiantis šiuo „Nekilnojamųjų kultūros vertybių vertinimo, atrankos ir reikšmingumo lygmens nustatymo kriterijų aprašo“ 1 priede pateiktu sąrašu (Įsakymas, 2015) buvo atrinktos urbanistinio paveldo vertingosios savybės, kurias potencialiai turi būti siekiama fiksuoti ir atlikti jų monitoringą:
plano struktūra (planinės struktūros tipas (radialusis, žiedinis, reguliarus, linijinis, mišrus); planinės struktūros tinklas (kelių, gatvių, aikščių, pėsčiųjų takų, valdų (posesijų)); kvartalai; valdos (posesijos); keliai, gatvės, aikštės, įvažiavimai, pervažiavimai, takai; gamtiniai elementai);
tūrinė erdvinė struktūra (tūrinės erdvinės struktūros sandara; atviros erdvės (gatvės, aikštės, skverai, parkai); uždaros erdvės (kiemai, praėjimai); panoramos; siluetai; perspektyvos; išklotinės; dominantės; užstatymo bruožai (stogų formos, fasadų, stogų detalės, jų apdailos medžiagos ir spalvos, tvoros, arkos, tarpuvartės, vartai).
aukštis ir (ar) aukštingumas;
tūrinė erdvinė kompozicija, tūris, stogo forma, stogo elementai (stoglangiai, liukai, ugniasienės, dūmtraukiai, apžvalgos aikštelės);
fasadų architektūrinis sprendimas, fasadų kompozicija, fasadų architektūros tūrinės detalės (akroterijai, frontonai, stoginės, erkeriai, balkonai ir jų turėklai, išorės laiptai ir nuovažos, kolonos ir kolonados), fasadų puošyba (skulptūros), kitos fasadų funkcinės detalės (kritulių nuvedimo sistema, priešgaisrinės kopėčios, kėlimo įrenginiai);
konstrukcijos stalių ir kitų medžiagų gaminiai (langai ir langinės, durys).
Išvardytos savybės apibrėžiamos (terminologijos požiūriu), remiantis Nekilnojamųjų kultūros vertybių vertinimo, atrankos ir reikšmingumo lygmens nustatymo kriterijų aprašu (ten pat).
Remiantis tarptautine praktika urbanistinio paveldo pažaida suprantama kaip „pokytis, dėl kurio mažėja paveldo objekto ar vietovės reikšmingumas ar patvarumas“ (Tarptautinis…, 2012). Pažaidos veiksnių identifikavimas yra vienas iš svarbiausių paveldo valdymo proceso etapų (Pedersoli, Antomarchi, Michalski, 2016). Aptardami urbanistinio paveldo pažaidą, galime skirti dvi pagrindines – gamtinę ir antropogeninę – veiksnių grupes. Bene detaliausiai jos aptartos UNESCO tyrimo ataskaitoje „List of factors affecting the properties“, kurioje skiriama 14 pirminių veiksnių, o šie dar skaidomi į smulkesnius (UNESCO. List of factors, 2008). Remdamiesi šiuo dokumentu galėtume išskirti tokius Lietuvos urbanistinio (senamiesčių) paveldo pažaidą lemiančius antropogeninius veiksnius:
Taip pat Lietuvos urbanistinio (senamiesčių) paveldo pažaidą lemiančius gamtinius veiksnius, kaip antai:
Kitų autorių atlikti tyrimai leidžia sąrašą papildyti:
Greta šio, UNESCO tyrimo ir pažaidos veiksnių išskyrimo, yra nemažai tyrimų, mokslinių publikacijų ir gerosios praktikos vadovų, skirtų konkretiems pažaidos veiksniams: oro taršai (Allen ir kt., 2000, p. 35 – 38), klimato kaitai (Carroll, Aarrevaara, 2018), gamtiniams kataklizmams (Drdácký ir kt., 2007; Tandon, 2017), geologiniams veiksniams (Cristaras, 2003, p. 37 – 55).
Skirtingų pažaidos veiksnių poveikis konkretiems paveldo objektams ir jų komponentams skiriasi. Kai kurie autoriai išskiria ilgalaikio (iš esmės – nuolatinio) poveikio gamtinius pažaidos veiksnius, apibrėždami juos kaip iš esmės nuolatinius ir neišvengiamus (vėjas, lietus, saulės šviesa ir radiacija) ir susiedami juos su ardomais paveldo objektų elementais (Žarnić, Rajčić, Skordaki, 2015, p. 389 – 394; Kanani, Zandi, 2011, p. 1018 –1023). Kitos metodikos vertina pažaidos veiksnių (rizikų) paplitimo ir poveikio galimybes (Pedersoli, Antomarchi, Michalski, 2016). Įgyvendinant paveldo automatinį monitoringą taikant 3D vaizdo technologijas, yra svarbu susieti pažaidos veiksnius ir vertingąsias urbanistinio paveldo objektų bei vietovių savybes, siekiant toliau šią matricą naudoti pusiau automatiniam paveldo monitoringui. Šiame kontekste vertingosios urbanistinio paveldo objektų bei vietovių savybės yra suvokiamos kaip potencialiai pažeidžiami objektų ir vietovių komponentai. Pažaidos veiksnių ir vertingųjų savybių sąsajos pateikiamos 1 lentelėje. Rizikos lygis įvertintas naudojantis ICCROM 2016 m. metodika (ten pat).

Table 1. Relations of heritage’s valuables and its alterations
Įgyvendinant paveldo automatinį monitoringą yra taikomi erdviniai kriterijai ir rodikliai, sietini su trimačio vaizdo technologijų fiksavimo galimybėmis. Mokslinių tyrimų požiūriu 3D skaitmeniniai objektai gali būti analizuojami kaip geografinių duomenų sankaupa (paprastai taikoma nekilnojamojo paveldo objektams) arba kaip vaizdinis objektas (paprastai taikomas kilnojamiesiems artefaktams ir nekilnojamajam paveldui). Pirmuoju atveju taškų debesis yra traktuojamas kaip GIS duomenys (x, y, z koordinatės), antruoju – kaip vizualus objektas. Urbanistinio paveldo atveju naudojamas kompleksinis variantas – 3D traktuojamas kaip vizualus objektas, turintis savo formą (angl. shape), tačiau kartu – susietas su geografinėmis koordinatėmis tam, kad būtų galima identifikuoti pokyčio lokaciją ir taip patikrinti atribucinę informaciją (pavyzdžiui, buvusį pastato aukščio pasikeitimą pagal koordinates). 3D objekto formos erdvinis pokytis (padidėjimas arba sumažėjimas) yra vertinamas kaip potenciali pažaida. Taigi formos pokytis (dviejų skirtingu laikotarpiu atliktų 3D vaizdo fiksacijų sutapimas ir (ar) nesutapimas) laikomas pagrindiniu pažaidos fiksavimo ir įvertinimo kriterijumi.
Pokyčiui matuoti naudojami matematiniai rodikliai, kurie yra apibrėžiami per 3D vaizdo raišką, leidžiančią fiksuoti pokyčio dydį. Įgyvendinant paveldo automatinį monitoringą, rodikliai fiksuoja pokyčius, didesnius nei 30 cm. Pokyčio rodikliai skiriasi savo absoliučia išraiška, nes priklauso nuo objektų ir vietovių, kurių monitoringas atliekamas, dydžio. Todėl, paveldosauginiu požiūriu, negalime jų matuoti pagal santykių skalę, nes ta pati, pavyzdžiui, 10 cm dydžio pokyčio potenciali pažaida pastato lango kontūrui ar gatvės išklotinei yra skirtingos. Dėl šios priežasties pokyčio matavimui taikomi intervalų skalėje matuojami kriterijai – vietovės ar objekto pokyčio (potencialios pažaidos) procentinė išraiška, kai 0 % reiškia pažaidos nebuvimą, o 100 % – objekto ar vietovės visišką sunaikinimą.
Fiksuotų pažaidos veiksnių kriterijų, su jais susijusių urbanistinio paveldo objektų (pastatų ir kt.) bei jų komponentų aprašo paskirtis yra, ruošiant medžiagą matematinių (statistinių) pažaidos automatinės paieškos algoritmų taikymui, susieti detalius pažaidos veiksnius ir konkrečius urbanistinio paveldo objektus (pastatus ir kt.) bei jų komponentus (stoglangius, langų angas ir kt.).
Nors kiekvieno konkretaus paveldo objekto vertingųjų savybių rinkinys yra individualus, dėl panašių objektų gausos Vilniaus senamiestyje galima išskirti ir algoritmais aprašyti konkrečių paveldo objektų grupei būdingų vertingųjų savybių rinkinius (aibes), pavyzdžiui, gyvenamajam namui, bažnyčiai, aikštei, parkui ir kt. Tokius rinkinius galima skaidyti į komponentus, kurių skaitmeninė stebėsena yra susijusi tiek su didelės geometrijos (pavyzdžiui, stogo forma, pastato aukštingumas), tiek su nedidelių gabaritų (pavyzdžiui, lango sandrikas, durys) vertingosiomis savybėmis. Automatiniam monitoringui svarbu tai, kad analizuojami ir lyginami paveldo objektai ir jų komponentai būtų tokie, kuriuos, pagal išskirtas metodologines prielaidas, galima aprašyti matematiškai arba išreikšti plokštuminėmis ir tūrinėmis geometrinėmis figūromis.
Skaitmeninė stebėsena (monitoringas) remiasi prielaidomis, kad:
Fiksuotų pažaidos veiksnių poveikis konkretiems urbanistinio paveldo objektams bei jų komponentams ir jų geometriniai aprašymai yra pateikiami 2 lentelėje.
Kitame žingsnyje yra tikrinamas duomenų patikimumas pagal turimus palydovinius ar LIDAR duomenis arba tikrinant detekcijas realybėje. Besimokančio algoritmo atveju vertinamas detekcijos reikšmės pokytis (loginiai operatoriai ir santykis su pokyčio detekcija, 3 lentelė) ir jos tikimybė (pavyzdžiui, stogas→padidėjo→86,7%).

Table 2. Impact of alterations for objects of urban heritage and its elements

Table 3. Relations of logical operators for digital monitoring of heritage‘s valuables and its alterations
• XYZ – pradinės informacijos dydis pagal ilgį, plotį ir aukštį (atitinkamai X, Y, Z);• s. d. – santykinis dydis, pasirenkamas atsižvelgiant į tyrimo metodiką;• eiliškumas reiškia pradinį loginio operatoriaus taikymą pagal priskirtą vertingosios savybės pokyčio svarbą (pirmas), ir vėliau einantį duomenų analizės žingsnį (antras). Optimizuojant tyrimą galima nevertinti (neskaičiuoti) antrinių operatorių.Statistiniu požiūriu visos pokyčių vietos yra nepriklausomieji kintamieji. Statistiniai nuokrypio skaičiavimai yra tikslingi tik vykdant monitoringą neturint pradinių duomenų ir naudojant vertingųjų savybių modelius kaip taisykles, kurių atitikimą tikslinga vertinti renkant statistinius duomenis. Bendruoju pokyčio fiksavimo atveju įvertinimo tikimybė skaičiuojama pagal identifikuotų vertingųjų savybių ir jų pokyčių santykį su realybėje fiksuojamų vertingųjų savybių teisingu identifikavimu ir pokyčių įvertinimu, pavyzdžiui, kiek pastato langų ir durų pavyko identifikuoti, kiek programiškai identifikuoti langų ir durų pokyčiai atitiko realybėje fiksuojamus pokyčius.
Kompiuterio regos technologijose objektų atpažinimas ir (ar) klasifikavimas priskiriamas prie mažiau sudėtingų technologinių sprendimų, semantinis segmentavimas – prie sudėtingų, kuris iki šiol yra gana probleminis, o kartais – tikras iššūkis mokslininkams ir tyrėjams. Geras analizuojamo vaizdo supratimas labai svarbus tobulinant sistemas, kurios naudojamos savaeigėse transporto priemonėse, atpažįstant ir lokalizuojant kelio ženklus, virtualios ir papildytos realybės sprendimuose, medicinoje (atpažįstant auglius, medicinos įrankius operacinėje) ir t. t. Giliojo mokymo technologijų taikymo 3D vaizdų analizei galimybės ypatingą proveržį patyrė 2012 m., kai AlexNet modelis parodė puikius analizės rezultatus per ImageNet varžybas. Kadangi dirbtinio intelekto technologijos yra universalios, jos tuo pačiu metu buvo pradėtos sėkmingai taikyti ir kitose srityse (teksto analizė, šnekos atpažinimas, mašininis vertimas ir t. t.).
Vienus pirmųjų 3D vaizdų klasifikavimo panaudojant dirbtinio intelekto technologijas tyrimų rezultatus paskelbė Princetono universiteto, Kinų Honkongo universiteto ir Massachusettso technologijos instituto mokslininkų komanda (Wu ir kt., 2015). Jų pasiūlytas sprendinys pavadintas 3D ShapeNets, jo įeigoje pateikiamos 3D formos (3D vokselių tinklelis). Autoriai panaudojo sąsūkio 3D filtrų sistemą. Modeliui buvo panaudotas išankstinio apmokymo matematinių svorių modelis, o pagrindinis mokymasis vyko optimizuojant svorių sistemą backpropagation būdu. Pasiūlytas modelis puikiai atliko 3D objektų klasifikavimo užduotį ir parodė kur kas geresnius objektų klasifikavimo rezultatus, nei kiti tuo metu egzistavę modeliai. Dar geresnius tikrųjų 3D duomenų analizės rezultatus ir inovatyvius sąsūkio tinklų modifikavimo sprendimus vėliau pateikė kiti mokslininkai – jie pasiekė 86 % 3D objektų klasifikavimo tikslumą (Qi ir kt., 2016; Brock ir kt., 2016; Song ir kt., 2016). Atkreiptinas dėmesys, kad 3D analizės rezultatams esminę įtaką daro 3D objektų skenavimo taškų tankis, todėl, siekiant įgyvendinti projekto uždavinius, pirmiausia buvo sprendžiamas duomenų bazės kūrimo charakterizavimas. 2019 m. buvo atliktas Vilniaus senamiesčio dalies (1 pav.) 3D lazerinis skenavimas, sujungtas su dronu gautų fotonuotraukų fotogrametriniais taškų masyvais, taip pat atliktas pirminis Vilniaus ir Kauno senamiesčių pastatų fasadų fotofiksavimas (2 pav.). 3D skenavimo ir fotofiksavimo metu buvo gauti tų pačių senamiesčių objektų 2D ir 3D duomenys, kurie buvo naudojami tolesniame DI mokymų procese (3 pav.).

Fig. 1. 2019 scanned part of Vilnius Old Town and its scanning network.

Fig. 2. Photo fixation sites of Vilnius and Kaunas.

Fig. 3. 2D and 3D images of facades of Vilnius and Kaunas old town buildings.
Apytikriai 2,9 mlrd. taškų masyvas generuotas su ~ 4 cm RMS paklaida (vidutinė kvadratinė prognozės paklaida), koordinuotais pasitelkus kontūrženklių sistemą sujungiant 16 skirtingų fiksavimo vietų, bendrai sudarančių ≈ 21 ha plotą (≈ 13 400 taškų/1 M.). 2D fasadų duomenų bazę (sudaro beveik 650 fotonuotraukų, vidutiniškai turinčių po 12 megapikselių skiriamąją gebą). Taškų masyvo duomenų tikslumas ir kiekis yra pakankami tolesniems eksperimento etapams vykdyti, tačiau 2D duomenų yra per mažai patikimam dirbtinio intelekto apmokymo procesui užtikrinti, todėl projekte taikoma duomenų priauginimo metodika (angl. data augmentation), kai ta pati nuotrauka naudojama skirtingais rakursais, kurie fiksuojami kaip skirtingi ištekliaus duomenys. Šitaip turimus išteklius galima išplėsti iki bent 10 000 semantiškai segmentuotų nuotraukų.
2D ir 3D semantinio segmentavimo technologiniai sprendimai ir algoritmai panašūs. 3D vaizdų segmentavimo metu kiekvienas 3D vaizdo taškas žymimas ir priskiriamas tam tikrai analizuojamų objektų klasei arba fono objektų klasei. 3D vaizdų segmentavimas dar vadinamas semantiniu segmentavimu arba žymėjimu (angl. labeling). Semantinis segmentavimas artimas 3D vaizdų klasifikavimui, nes turi tinkamai atpažinti klases, kurioms priklauso 3D vaizde esantys objektai. 3D vaizdų segmentavimas kilęs iš 2D vaizdų segmentavimo, todėl technologiniai sprendimai yra panašūs: 1) regiono augimas (angl. region growing) (pavyzdžiui, Vo ir kt., 2015); 2) grafu grįstas (pavyzdžiui, Sima ir kt., 2013); 3) superpikseliais grįstas (pavyzdžiui, Papon ir kt., 2013; Aijazi ir kt., 2013). Šiuo metu semantinio segmentavimo srityje pasaulyje geriausi rezultatai pasiekti naudojant sąsūkio neuroninius tinklus (įvairius jų struktūrinius sprendinius ir modifikacijas), kurie tampa standartu semantinio segmentavimo problemoms spręsti prižiūrimo giliojo apmokymo būdu, nors tyrimai ir eksperimentai vyksta ir menkai prižiūrimo ir neprižiūrimo giliojo apmokymo kryptimis.
2014 m. bendrovės „Google“ tinklas GoogLeNet laimėjo ImageNet varžybas, pasiekęs 93,3 % semantinio segmentavimo tikslumą. „Google“ tinklas susidėjo iš sąsūkio neuroninio tinklo 22 giliųjų sluoksnių ir greta kitų inovatyvių sprendimų tinklo architektūroje buvo panaudotas „Google“ sukurtas inovatyvus inception modulis, kuris buvo įdiegtas tinklas tinkle principu (Szegedy ir kt., 2015). 2016 m. bendrovės „Microsoft tinklas“ ResNet laimėjo ImageNet varžybas, pasiekęs 96,4 % semantinio segmentavimo tikslumą. „Microsoft“ tinklas tapo žymus ir dėl jo išties didelio gylio – 152 sluoksniai.
Pasiekti rezultatai semantinio segmentavimo srityje mokslininkams leido pradėti formuluoti teiginius, kad siauroje vaizdų analizės srityje kompiuteris jau viršijo žmogaus gebėjimus. Tačiau turime sutikti su O. Russakovsky’io nuomone, kad kompiuteris geba priskirti nuotrauką ar vaizdą tik vienai iš tūkstančio kategorijų, o žmogus – kur kas didesniam kategorijų skaičiui, be to, žmogus geba įvertinti vaizdo kontekstą, ko vis dar nesugeba kompiuteris, todėl žmogaus lygio mašina dar nepasiekė.
Dirbtinio intelekto technologijų taikymą urbanistinio kultūros paveldo stebėsenos srityje apsunkina giliajam mokymuisi reikalingų duomenų masyvų stygius, nes šie algoritmai veiksmingai mokosi tik iš labai didelių, žmogaus eksperto rankiniu būdu ženklintų duomenų kiekių. Šiuo metu atviroje prieigoje pateikiami tik keli mažos apimties ženklintų duomenų rinkiniai, kurie tinkami nedideliems laboratoriniams eksperimentams, bet ne taikomojo pobūdžio kompiuterinei sistemai kurti (CMPF Facade…, 2015). Todėl vienas iš iššūkių, su kuriuo susidūrė projekto vykdytojai, – kuo skubesnis pakankamai didelių, algoritmų mokymuisi tinkamų duomenų masyvų sukaupimas ir juose esančių objektų ženklinimas rankiniu būdu, pasitelkiant žmones ekspertus. Pirmųjų laboratorinių eksperimentų rezultatai, kai naudojamas pirminis kaupiamo duomenų ištekliaus variantas – pasiekiant dviejų objektų klasių (langų ir durų) 80 % tikslumo semantinį segmentavimą – leidžia teigti, kad pasirinkti technologiniai sprendimai ir sukurta metodologija bus sėkmingai pritaikyti, siekiant projekto tikslų.
Laboratoriniam eksperimentui buvo panaudotas bendrovės „Google“ sukurtas atvirojo kodo nemokamas infrastruktūrinis sprendimas Tensorflow ir vaizdų semantiniam segmentavimui skirtas tos pačios bendrovės sukurtas Tensorflow priedas DeepLab v. 3+, kuris naudoja pažangią giliųjų sąsūkio tinklų architektūrą (prieiga per internetą: <https://ai.googleblog.com/2018/03/semantic-image-segmentation-with.html>) (Liang-Chieh Chen ir kt., 2017). Pagrindinis skirtumas tarp DeepLab v.3 ir v. 3+ yra tas, kad bendrovė naujoje DeepLab versijoje panaudojo esmiškai naują neuroninio tinklo architektūrinį sprendimą Xception (Chollet, 2017), kuris pakeitė iki tol DeepLab sprendime naudotą architektūrinį sprendimą RestNet. Eksperimentui buvo naudojami gamintojo nustatyti standartiniai parametrai. Apmokymui papildomai buvo panaudotas projekto vykdytojų surinktas Vilniaus senamiesčio pastatų fasadų nuotraukų rinkinys, kuris buvo rankomis sužymėtas pagal PASCAL VOC 2012 standartą. Eksperimentai keičiant parametrus numatyti tolesniuose projekto etapuose, kai apmokymo duomenų rinkinys bus papildytas visomis projekto tikslams pasiekti reikalingomis semantiškai segmentuojamomis klasėmis. Bendrovės „Google“ kompleksinis sprendimas buvo pasirinktas dėl trijų pagrindinių priežasčių: 1) tai atvirojo kodo nemokamas programinės įrangos sprendimas, nereikalaujantis didelių skaičiavimo pajėgumų, lyginant su analogais; 2) minimo sprendimo, kaip aprašyta pirmiau, tikslumo rodikliai buvo labai geri; 3) dėl aukštos kokybės ir inovatyvių technologijų taikymo sprendimas turi didelę vartotojų bendruomenę, todėl yra platus jo palaikymo tinklas.
Nekilnojamojo kultūros paveldo apsauga yra vienas iš šiuolaikinės visuomenės iššūkių ir tokia situacija suponuoja poreikį kurti pažangias, efektyvias ir sąlyginai nebrangias technologijas, kurios padėtų efektyviai stebėti ir analizuoti kultūros paveldo būklę ir jos raidą. Straipsnyje kaip tik pristatomas vienas tokių technologinių sprendimų – nekilnojamojo paveldo automatinis monitoringas, taikant 3D vaizdo skenavimo ir dirbtinio intelekto technologijas.
Įgyvendinant šį technologinį sprendimą atliekami nuoseklūs veiksmai, kurie pasiūlytą monitoringo sprendimą paverčia pakankamai universaliu. Jei straipsnyje aptartas monitoringo sprendimas būtų taikomas kitiems nekilnojamojo kultūros paveldo objektams (pavyzdžiui, archeologijos), reikėtų atlikti tuos pačius aprašytus veiksmus, pritaikant juos šiam konkrečiam paveldo tipui. Tai yra 1) atrinkti vertingąsias savybes, kurias potencialiai turi būti siekiama fiksuoti ir kurių monitoringą rengiamasi atlikti; 2) nustatyti pažaidos veiksnius, naikinančius šias konkrečias vertingąsias savybes; 3) konkrečias paveldo vertingąsias savybes susieti su konkrečiais jas pažeidžiančiais veiksniais, siekiant toliau šią matricą naudoti pusiau automatiniam paveldo monitoringui; 4) nustatyti pokyčiui matuoti taikytinus matematinius rodiklius; 5) išskirti ir algoritmais aprašyti konkrečių paveldo objektų grupei būdingų vertingųjų savybių rinkinius (aibes); 6) atlikti duomenų patikimumo patikrą; 7) atlikti dirbtinio intelekto sistemos apmokymus.
Dirbtinio intelekto technologijų taikymą nekilnojamojo kultūros paveldo stebėsenos srityje apsunkina giliajam mokymuisi reikalingų duomenų masyvų stygius, nes šie algoritmai veiksmingai mokosi tik iš labai didelių, žmogaus eksperto rankiniu būdu ženklintų duomenų kiekių. Todėl vienas iš sunkumų, su kuriuo susidūrė projekto vykdytojai, – kuo skubesnis pakankamai didelių, algoritmų mokymuisi tinkamų urbanistinio paveldo duomenų masyvų sukaupimas ir juose esančių objektų ženklinimas rankiniu būdu, pasitelkiant žmones ekspertus.
Tolesniuose technologinio sprendimo realizavimo etapuose yra numatyta sukurti programinę įrangą (įskaitant jos gamybinę versiją) ir ją išbandyti įvairiuose scenarijuose, siekiant identifikuoti pačią tiksliausią, efektyviausią ir pigiausią 3D duomenų rinkimo ir jų analizės strategiją.

Table 1. Relations of heritage’s valuables and its alterations

Table 2. Impact of alterations for objects of urban heritage and its elements

Table 3. Relations of logical operators for digital monitoring of heritage‘s valuables and its alterations
• XYZ – pradinės informacijos dydis pagal ilgį, plotį ir aukštį (atitinkamai X, Y, Z);• s. d. – santykinis dydis, pasirenkamas atsižvelgiant į tyrimo metodiką;• eiliškumas reiškia pradinį loginio operatoriaus taikymą pagal priskirtą vertingosios savybės pokyčio svarbą (pirmas), ir vėliau einantį duomenų analizės žingsnį (antras). Optimizuojant tyrimą galima nevertinti (neskaičiuoti) antrinių operatorių.
Fig. 1. 2019 scanned part of Vilnius Old Town and its scanning network.

Fig. 2. Photo fixation sites of Vilnius and Kaunas.

Fig. 3. 2D and 3D images of facades of Vilnius and Kaunas old town buildings.