Hogyan lehet publikusan elérhető adatokat egy weboldalról CSV fájlba menteni?
Figyelt kérdés
Szeretnék készíteni egy programot, amely egy big data fájlba eltárolja egy New York-i lakáshirdetésekkel foglalkozó weboldalról a hirdetések adatait (ár, irányítószám, méret, stb.). Ehez szeretnék segítséget kérni, hogy hogyan lehetne ezt megvalósítani. Amennyiben lehetséges pythonban szeretném megírni a program, és egy raspberry pi-ről futtatnám naponta.2020. júl. 6. 18:19
1/2 anonim 
válasza:
válasza:Scrapelésnek hívják. Googlezz rá. De készülj fel rá, hogy ez nem feltétlenül olyan egyszerű, hogy a script csak megnyitja az oldalt, és végigdarálja az oldalakat, mert ezen oldalak nem feltétlenül szeretnék, hogy botok bányásszák őket és különböző mértékben szopatós megoldásokat alkalmaznak, hogy kiszűrjék ezeket. Pl csak javascript-et futtató klienst támogat, nézi, hogy egy ipről mennyi request jött X idő alatt, változhat a dom, amit parseolsz, satöbbi.
2/2 Ozmium42 válasza:
válasza:Ajánlom figyelmedbe a "requests" modult (lehet, hogy telepíteni kell), vagy az "urllib.request" modult (ez beépített, kissé fapadosabb, de nem sokkal bonyolultabb). Ennek segítségével könnyedén lekérdezheted a honlap html kódját, amiben - jó esetben - benne vannak az adatok, amit ki kell használni.
Aztán megpróbálhatsz reguláris kifejezéseket írni ("re" modul), vagy html-parsert használni (pl. "Beautiful Soup"), ami kényelmesebb.
A letisztított adatokkal meg azt csinálsz, amit akarsz, gondolom egy csv fájlt nem kell leírni, hogy készül.
Kapcsolódó kérdések:
Minden jog fenntartva © 2024, www.gyakorikerdesek.hu
GYIK | Szabályzat | Jogi nyilatkozat | Adatvédelem | Cookie beállítások | WebMinute Kft. | Facebook | Kapcsolat: info(kukac)gyakorikerdesek.hu
A weboldalon megjelenő anyagok nem minősülnek szerkesztői tartalomnak, előzetes ellenőrzésen nem esnek át, az üzemeltető véleményét nem tükrözik.
Ha kifogással szeretne élni valamely tartalommal kapcsolatban, kérjük jelezze e-mailes elérhetőségünkön!
Ha kifogással szeretne élni valamely tartalommal kapcsolatban, kérjük jelezze e-mailes elérhetőségünkön!