📌 Trenutni sistem i procesi rada

1️⃣ Server 3 (S3):

  • Funkcija:
    • Cron zadaci za Tutti, Anibis i Ricardo aktiviraju crawler-e.
    • Crawler-i šalju ping ka Zenrows-u, što omogućava rešavanje Captcha i preuzimanje podataka o vozilima.
  • ⏳ Problem: Gargisti zahtevaju podatke vrlo brzo (u roku od sekundi).
  • 💡 Rešenje: Implementirati Puppetier skripte koje brzo preuzimaju 1-2 stranice direktno. Ovo će značajno poboljšati prodaju, ali je manje prioritetno od rešavanja problema Mobile DE.
  • Aktivnosti:
    • Spider-i: as24ch_1, as24ch_2, as24ch_3, as24ch_4, tutti_1, tutti_2, anibis.
    • Brisanje: Stari oglasi se brišu na svakih 24 sata.
    • Mobile DE: Kada bude aktivno radio, zahtevaće dodatne Puppetier resurse za brisanje.
  • 🌡️ Napomena: Temperatura od -5°C u baštenskom ormanu pomaže održavanju stabilnih uslova, dok toplota servera doprinosi stabilnosti unutrašnje klime.

2️⃣ Server 5 (S5):

  • Funkcija:
    • Obrada Autoscout24 listinga.
    • Dva Puppetiera pojedinačno preuzimaju oglase.
  • 📈 Status: Sistem radi besprekorno, ali:
    • 🛑 Napomena: Da bi se izbeglo blokiranje poput onog na Mobile DE, potrebno je smanjiti aktivnosti Spider-a i Crawler-a za Soldout i nabavku. Frekvenciju treba prilagoditi kako bi se smanjilo opterećenje na platformi.

3️⃣ Server 1 i Server 2 (S1 & S2):

  • Funkcija: Puppetier skripte su dugotrajno aktivne, ali povremeno dolazi do «zaglavljivanja» Cron-a kada se pojavi «0».
  • Potrebe za optimizacijom:
    • ✅ Poboljšati logiku Cron procesa kako bi se sprečila zaglavljivanja.
    • ⏰ Implementirati opciju da Spider-i rade samo tokom dana.

🔍 Identifikovani problemi i prioriteti

  1. Mobile DE Extended brisanje (Visok prioritet):
    • 🛠️ Potrebni dodatni Puppetieri za efikasno brisanje oglasa.
    • 🔬 Testirati kapacitet S3 za dodatno opterećenje. Ako bude preopterećen, prebaciti zadatak na S5.
  2. Brže prikupljanje podataka za prodaju (Srednji prioritet):
    • 🚀 Implementirati Puppetier procese za brzo preuzimanje podataka sa prvih 1-2 stranice za Tutti, Ricardo i Anibis.
    • 📊 Ovo će unaprediti prodaju, ali dolazi nakon rešavanja Mobile DE izazova.
  3. Optimizacija S1 i S2 (Nizak prioritet):
    • 🔧 Popraviti Cron logiku kako bi se izbegli problemi sa «0».
    • 🌞 Uvesti dnevni režim rada Spider-a, kako bi se smanjilo noćno opterećenje.
  4. Skalabilnost brisanja oglasa:
    • 🔄 Proveriti i održavati skalabilnost 24-časovnog ciklusa brisanja starih oglasa.
  5. Autoscout24 frekvencija (Hitno):
    • 🛑 Smanjiti aktivnosti Spider-a i Crawler-a za Soldout i nabavku kako bi se izbeglo blokiranje. Postaviti nižu frekvenciju i testirati ponašanje platforme.

📌 Preporučeni koraci

1️⃣ Rešavanje Mobile DE problema (Najviši prioritet):

  • Implementirati dodatne Puppetier resurse.
  • Izvršiti test opterećenja na S3; ako nije izvodljivo, proces prebaciti na S5.

2️⃣ Smanjenje frekvencije na Autoscout24 (Hitno):

  • Postaviti sporiji tempo za Spider i Crawler aktivnosti kako bi se izbeglo blokiranje.

3️⃣ Optimizacija za bolju prodaju (Srednji prioritet):

  • Uvesti brže prikupljanje podataka za Tutti, Ricardo i Anibis. Ovo je važno, ali nije urgentno.

4️⃣ Poboljšanja na S1 i S2 (Nizak prioritet):

  • Popraviti greške u Cron logici.
  • Postaviti dnevni režim rada Spider-a.

✅ Zaključak

  • 🎯 Prvi korak: Fokusirati se na rešavanje Mobile DE izazova – ključni prioritet.
  • 🛑 Drugi korak: Smanjiti aktivnosti Spider-a i Crawler-a na Autoscout24 kako bi se izbeglo blokiranje.
  • 🚀 Treći korak: Implementirati optimizacije za brže prikupljanje podataka za prodaju.
  • 🔧 Četvrti korak: Optimizovati S1 i S2 za dugoročnu stabilnost.