01/11/2024
Prognozy prognozami, statystyki statystykami. Jak mawiał Winston Churchill, „wierzę tylko w te statystyki, które sam sfałszowałem.” 😉 My jednak niczego nie fałszujemy – my jedynie zapisujemy dane do bazy!
Dodałem dwie nowe funkcjonalności, które, jeśli przetrwają próbę czasu, mogą znacznie rozwinąć nasz serwis. Pierwsza to zapis danych z OGNa, nie tylko na potrzeby statystyk, ale też do innych zastosowań. Druga to możliwość wyświetlania danych z OGNa na mapach pogody, dzięki czemu można zobaczyć, jak prognozy mają się do rzeczywistości.
Z czasem planujemy wykorzystać AI, by porównać zebrane dane (np. temperatura, wiatr, wilgotność, ciśnienie, zachmurzenie) z rzeczywistym wykorzystaniem warunków przez pilotów. Wyobraźcie sobie, że prognoza mówi jedno, a AI podpowiada, że jednak warto wcześnie wstać i wybrać się na lot, gdyż inni latali tu i tam w takie warunki – bezcenne!
Wyzwanie stanowi jednak ilość danych i moc obliczeniowa potrzebna do ich przetwarzania. Po tygodniu zbierania danych nasz „data lake” liczy już 30 milionów rekordów, co zajmuje około 30 GB miejsca w postaci tekstu. Dyski nie stanowią problemu, Terabajty są obecnie tanie i nawet RAM nie stanowi już problemu, można w oba zainwestować ale silnik bazy danych ... to jest klucz. Jako SAP Architekt używam obecnie SAP HANA Express która daje radę, ale "darmowy" limit 32 GB RAM-u to jej maksymalne możliwości - może wiele instancji? kto wie :)
Teraz musimy znaleźć sposób na optymalizację i przechowywanie tylko najważniejszych informacji (może skupić się na obszarach najczęściej odwiedzanych przez pilotów?). Trzeba będzie się nad tym porządnie zastanowić!
Życzę Wam wszystkim udanego Halloween! 🎃
