Logiranje je enostavno. Večino zapletov pri logiranju podatkov s stališča programerja rešimo že z vpeljavo pravil za logiranje, ki se jih moramo pri razvoju držati.
Zapleten del logiranja predstavlja shranjevanje in iskanje po logiranih podatkih. Pri iskanju težavnost eksponentno narašča z uporabo več nitnega izvajanja, komunikacija z drugimi aplikacijami/sistemi in danes vse bolj uporabljenega koncepta mikrostoritev. Težave pri shranjevanju pa predstavlja hitra rast logiranih podatkov in dostop do podatkov.
Predstavili bomo kako se lahko zgradi centralni logirni sistem z uporabo odprtokodnih skalabilnih rešitev(Hadoop, Flume, Morphline, Solr Cloud, Zookeper, Kafka, WildFly...), ki lahko tečejo na cenovno sprejemljivi strojni opremi (commodity hardware). Celoten sistem je zasnovan s poudarkom na uporabnosti iskalnika, ker je ravno iskalnik ključen del sistema. Tu bomo predstavili različne koncepte vgrajene v iskalnik:
- iskalnik omogoča iskanje po vseh aplikacijah povezanih v centralni logirni sistem in povezavo med njimi,
- iskanje po logiranih poslovnih dogodkih in prehod v pregled celotnega aplikacijskega loga
- iskanje in pregled podatkov v skoraj realnem času,
- omejevanje dostopov,
- obfuskacija osebnih podatkov,
- beleženje dostopa do podatkov,
- brisanje podatkov(GDPR).
Informacije o predavanju
Jezik / Language: SLO
O Avtorju
Marko Polak je Java in PL/SQL programer ter sistmski administrator podatkovnih baz v podjetju Medius d.o.o. Zadnji dve leti pa se ukvarja še s upravljanjem in iskanjem po velikih količinah podatkov(BigData) z uporabo odprtokodnih tehnologij(Solr, Hadoop, Flume, Kafka,...).
