Scraping gegevens van een website

[wielh01]

Hallo,

Voor de voedselbank wil ik graag een database opzetten met evntuele leveranciers/natura donateurs in de regio Noord-Limburg.

Je kunt deze gegevens ook bij Kvk kopen, maar we besteden het geld liever voor andere dingen, zoals de lopende kosten die we maken.

Nu heb ik veel tutorials bezocht, o.a. Wise Owl, welke iets zeggen over het binnenhalen van gegevens in excel, maar ik loop steeds tegen problemen aan. In het begin was het dat er niet bij werd gezegd dat je verwijzigingen moest instellen bij vba en andere dingen die niet werkten.

Het openen van de website, kopieren en plakken van zoekgegevens vanuit excel vba naar de website is geen probleem, dat kan ik wel.
Het probleem zit hem in de id, tags, classes enzo in de wbsite.

Website en page:https://www.kvk.nl/zoeken/?source=all&q=aalscholverstraat venlo&start=0&site=kvk2014




Groet
Wiel

 

[Aar]

Je kunt deze gegevens ook bij Kvk kopen, maar we besteden het geld liever voor andere dingen, zoals de lopende kosten die we maken.

Dus je wilt geen licentie kosten betalen?
Dan is mijn advies om ermee te stoppen, want ook hier geldt databankrecht voor. En mij lijkt me zinvol dat we niet gaan helpen bij illegale dingen.

Als je nou gewoon netjes licentiekosten betaald, dan heb je vast toegang tot een prachtige API, die alle data op gestructureerde wijze aan jou aanlevert.

Dus als je even eerst informeert bij de KVK, en vertelt wat zij zeggen, dan kunnen wij je eventueel van goed advies voorzien.

 

[cow18]

probleem los van de rechten, is dat een website nogal eens durft veranderen van opzet.
Zo haal ik regelmatig (onrechtmatig ???) gegevens van een bepaalde website, maar sinds corona geven ze vriendelijk zoals ze zijn, regelmatig gezondheidstips mee.
Mijn tot dan goed werkende macro, moest ik dus plots aanpassen om te checken of er nergens een banner op het scherm stond ipv de gegevens.
Dat is een éénvoudige check en ingreep overigens, maar volgende keer is het dan weer een andere verrassing.

 

[Aar]

En daarom zijn API's in het leven geroepen. Het voorkomt dat je strõnt in je database staat te pompen als jouw extractie-regels niet meer kloppen

 

[wielh01]

Uw reacties

Bedankt voor het meedenken hierover.

Ik wil hier alleen maar even kwijt dat dit allemaal openbare gegevens zijn. Je kunt deze basisgegevens ook allemaal handmatig overhalen en dan aanvullen met andere gegevens die je links en rechts van het internet plukt.

En bovendien als dit echt illegaal is, waarom bestaat de mogelijkheid dan dat je a het kunt, programmatisch gezien dan (en ik weet ook wel dat alles kan) en b de website niet beveiligd is hiertegen?

Er gaat ook een verzoek gedaan worden om de Kvk te vragen deze gegevens als donateur ter beschikking te stellen.

 

[puppie]

als ik de voordeur open heb staan mag je ook niet zomaar naar binnen gaan, is er iets weg uit mijn huis dan is er sprake van diefstal.
Ja ik weet ik had de deur dicht moeten houden maar dat is pas nadat.......
Ik ga deze van een slot voorzien.
Neem het advies ter harte en vraag even na bij de KvK.