Pakon/Suricata nesbírá některá data

Software [CZ] SW chyby-diskuze [CZ]
1

Upradoval jsem z 3.9.6 na 3.10.3, přitom odinstaloval majordomo a nainstaloval Pakon (přes škrtátka v updateru). Pakon začal ihned sbírat data, ale jen některá, např. tam vůbec nevidím Youtube z PC přes kabel, na které jsem koukal a musel jsem přenést stovky MB (vidím 33 KiB). Mám 250+ záznamů, přičemž jen asi 20 z nich má nad 1MB, největší má 90MB (ani to není YT, ale MS, asi nějaká aktualizace). Nic není ani v cli s parametrem --no-filter. Teď jsem zkusil Vimeo, zaznamenalo se, 144MB na jedno 5min video, to by mohlo sedět. YT video z mobilu se také zaznamenalo (41MB), ale přičetlo se k záznamu z noci (který jsem tam viděl ráno, 9MB), kdy si mobil asi na něco sám sáhl, takže se vůbec nedá poznat, že dopoledne někdo koukal na YT, teď přenesená data se tváří jako 9h ago. To je normální chování?

Dotaz 2: Doufal jsem, že budu moct sledovat, kolik jednotlivá zařízení přenesla za určité období bez ohledu na hostname/port. Bude tato sumarizace přidána?

Dotaz 3. nemohla by být možnost mít v sent/received sloupcích jednotné jednotky? Je to hrozně nepřehledné, když je každý údaj jiný (B/KiB/MiB). Klidně ručně přes conf file.

2

Těžko říct. Možný důvod je že sbírání dlouhotrvajících spojení je poměrně složité (udělali jsme tam nějaké hacky aby to neomezovalo výkonově), možná by se mohly některá dlouhá/datově náročná spojení ztratit. Zkusím se na to podívat.
--no-filter parametr by na to neměl mít vliv - ten by měl schovat jen “odpad” - reklamní servery, ocsp a podobné věci, které (si myslíme že) uživatele typicky nezajímají.

Pravděpodobně se díváte na agregovaná data (nahoře zaškrtávátko “aggregation by hostname”). Ty časy u toho agregovaného módu nedávají moc smysl (a imo by tam neměly být - pakon-show je neukazuje, ve web UI je kolega nechal).
Předpokládalo se, že na data z pakoně se půjde dívat ve dvou módech:

  • agregovaná - tj. zjednodušeně každá doména jen jednou, součet přenesených dat a stráveného času (tady moc nedává smysl ten čas začátku)
  • chronologicky - tj. domény a časy začátku, aby se dalo pochopit kdo a kdy se kam připojoval

Z těch dat se to udělat dá, takže asi můžeme přidat. Nicméně nemůžu slíbit kdy to bude - práce kolem pakoně je celkem hodně, featury můžeme přidávat až bude solidně fungovat ten základ.

Zkusíme vymyslet jak to udělat lépe, víme že současné UI má v přehlednosti docela mezery.

3

Děkuji za odpovědi.

Ono to vypadá, že to Youtube z mého PC se opravdu nezaznamenává, o víkendu jsem odkoukal minimálně 2h v HD kvalitě (několik 6-30 minut videí) a ve výpisu Pakoně vůbec nic. Největší záznam mám stále Vimeo, které se dokonce zobrazuje 2x s mírně odlišnou velikostí a teprve po 2. stisknutí Apply changes se to umoudří a zobrazí se jeden řádek (agregace zapnuta).

Ano máte pravdu, díval jsem se na agregovaná data, v té době jsem ještě nepřišel na hack s datumem a měl jsem prošedlé Apply tlačítko, takže jsem nemohl jinak. Ty časy u toho agregovaného opravdu nedávají smysl.
Teď jsem to zkusil bez agregace a rozpadlo se to na 2 záznamy, které už dávají smysl - i když oba “2 days ago”, takže bych stejně nezjistil, kdy to bylo, když jedno bylo okolo půlnoci a druhé druhý den dopoledne.
A opět se jako u velikosti přimluvím za volbu v conf pro “normální” zobrazení časů u neagregovaných záznamů. Jak je vidět, 2 days ago nemusí vůbec vypovídat, rád bych tam měl datum a čas - nebo kdyby šel do conf zapsat formátovací řetězec se syntaxí jako třeba v php, to by bylo vůbec vychytané :wink:

Sumarizace - díky, jen proč to chci, není to rozmar, máme datovou simku s určitým FUPem a je dobré sledovat, jak jsme na tom, případně kdo spotřebovává moc a co s tím.
S tím souvisí můj předchozí dotaz 3, nejen, že různé jednotky jsou nepřehledné, ale pokud si např. tu tabulku hodím do excelu, abych si sum zatím udělal ručně, různé jednotky to opět komplikují.

Hlavní problém ale je v těch nezaznamenaných datech, pak ten sum stejně nemá smysl a trochu i původní účel “parental control”, když se dá koukat hodiny na YT a není to ve výpisu. Z daného PC jsou tam přitom záznamů stovky, každý přenos o pár bajtech, ale YT prostě nějak ne. Předpokládám, že nemůže souviset, že v prohlížeči masivně blokuji reklamy a vše, to video se prostě přeneslo. Pokud by bylo potřeba něco otestovat, pomůžu, i když asi jen tohle, nemůžu přejít úplně na dev větev a rozbít doma net, to bych nemusel přežít :slight_smile:

4

No, ono YT používá různé domény, u mě X.googlevideo.com, pakon má seznam podle kterého tohle považuje za youtube.com. Počítám že se použité servery můžou lišit u různých ISP. Tak mě ještě tak napadá jestli se ta data přenesená YT neschovávají pod jinou doménou, třeba google.com?

Kdyžtak se můžete podívat, jaké spojení prohlížeč dělá - ve FF je to Web Developer → Network, když pak otevřete nějaké video, tak uvidíte kam se to připojuje.

Že by se neuložilo jedno spojení kvůli chybě logování, to by se stát mohlo. Ale že by se to dělo kvůli tomu častěji a konkrétně u jedné domény mi přijde dost divné.

5

To je první co mě napadlo, ale schovat se to jinam nemohlo, proto jsem psal, že největší záznam mám stále asi 144MB, kdy jsem pro test koukal na jedno kratší Vimeo video. Na YT jsem musel přenést několik GB a tak velký záznam tam prostě nemám z vůbec žádné domény (nebo menší záznamy po desítkách/stovkách MB). Přitom vše ostatní na co jsem si vzpomněl jsem ve výpisu našel.
Z YT mám jediný trošku větší záznam 44MB, to jsem koukal na jedno krátké video přes mobil asi 3 dny zpět, dnes jsem zkusil další YT video přes mobil (normálně YT app, Android) a na výpisu není.

Pustil jsem teď na PC jedno YT video v Chrome, v network hromada spojení na
https://r4—sn-2gb7sn7s.googlevideo.com/videoplayback? …
každé o velikosti mezi 260kB a 2MB, v Pakoni vůbec nic.

V LXC mám Pi-hole, ale to by taky nemělo hrát roli, jen pro úplnost.