Hogyan kell keresőrobotot írni?
Egy külföldi lakáshirdető oldalon szeretném folyamatosan figyelni, hogy mikor tesznek fel új hirdetést, illetve kiszűrni a lakásokat ár alapján. Meg szeretném spórolni azt, hogy nekem kelljen óránként felnézni az oldalra, van-e új hirdetés, ami érdekel.
Hogyan kell ilyen programot írni? Tutorial, technikai háttérinfók, minden tipp jöhet :)
válasza:Első lépés, hogy megtanulsz programozni. Nulladik lépés, hogy megtanulsz angolul, illetve guglizni.
Azután a HTTP requestekkel, és a HTML nyelvvel érdemes megismerkedni.
Később pedig a programodban letöltöd a megfelelő lapokat és kiparszolod belőlük, ami kell (adatok, linkek, etc). Letöltéshez és parszoláshoz nyilván érdemes lib-eket használni. (Java-hoz a Jsoup-ot ajánlom.)
válasza:Szerintem egy 4-5 év alatt sikerülhet is eljutnod odáig, hogy megírd.
Szerintem egyébként a legtöbb ilyen oldal kínál ilyen szolgáltatást alapból, például emailben elküldve.
az a gond, hogy az oldalak szolgáltatása túl lassú vagy nincs is nekik. egy csomó hirdetés kap egy csomó megkeresést és törlik, mielőtt kiküldené az emailt.
találtam egy beautifulsoup tutorialt, nem tűnik túl vészesnek. :)
egyébként ez legális tevékenység? mármint gondolom az én saját kedvemre folytatott lakáskeresésem nem árt senkinek, de egyébként legális keresőrobotokkal olcsó dolgokra vadászni neten?
válasza:> ez legális tevékenység? mármint gondolom az én saját kedvemre folytatott lakáskeresésem nem árt senkinek
Amíg nem terheled a szervert (megfelelő sleepekkel dolgozol), addig nincs belőle probléma.
Kapcsolódó kérdések:
Minden jog fenntartva © 2024, www.gyakorikerdesek.hu
GYIK | Szabályzat | Jogi nyilatkozat | Adatvédelem | Cookie beállítások | WebMinute Kft. | Facebook | Kapcsolat: info(kukac)gyakorikerdesek.hu
Ha kifogással szeretne élni valamely tartalommal kapcsolatban, kérjük jelezze e-mailes elérhetőségünkön!