Dwie ciekawostki - w zasadzie fakty znane, ale skala okazała się dla mnie zaskakująca.
Pobieram pozostałości po zlikwidowanym FotoForum, ot tak na pamiątkę.
Ściągnąłem pliki źródłowe z informacjami o poszczególnych zdjęciach (trochę ponad 4 300 000)
a z nich wyciągam programikiem w pythonie adresy zdjęć i inne przydatne informacje i tworzę
z tego pliki dla programu aria2c, którym pobieram same zdjęcia (jest ich trochę ponad 8 milionów).
I tutaj dwa zaskoczenia:
- wiadomo, że program antywirusowy potrafi spowolnić system (u mnie Windows 10 i Defender)
ale jak bardzo? Przy przetwarzaniu mojego skryptu w pythonie - o ok. 1700%. Dokładniej biorąc,
skrypt bez antywirusa analizuje ok. 145 stron (po 40 KB tekstu lub nieco więcej) na sekundę,
z włączonym Defenderem - niecałe 8 stron na sekundę. Osiemnaście razy wolniej.
- wiadomo, że dysk elektroniczny jest dużo szybszy od magnetycznego. Ale przy pobieraniu zdjęć
aria2c z serwera róĹźnica zrobiła się kolosalna - jedna partia (dla 500000 stron - ok. miliona zdjęć)
na dysku magnetycznym pobierała się przez 37 godzin (a takich partii mam 9). Obciążenie dysku
cały czas pełne 100%, a transfery żałośnie niskie. Przerobiłem skrypt, żeby pobierał tylko zdjęcia
publikowane na forach. Na SSD pobierałem po 2 partie równocześnie i trwało to poniĹźej 2 godzin.
Znowu kilkunastokrotna róĹźnica, choć łącze to samo. Czemu - nie mam pojęcia - moĹźe fragmentacja,
a moĹźe zabójcza okazała się mieszanka małych (miniaturki) i duĹźych (podglądówki) plików.
MoĹźe ktoś zetknął się z innymi, równie spektakularnymi, a trudnymi do przewidzenia i wytłumaczenia,
przypadkami niewydolności systemu?