Hallo ik ben bezig met het maken van een vergelijkings website. Ik ben net begonnen en heb alleen wat test modellen.
Zo heb ik in C# en in PHP/HTML een crawler gemaakt die een webshop url leest een daarvan de prijs pakt deze in een MySQL database stopt.
Het enigste is dat ik nog handmatig het productID moet invoeren. Want een crawler kan niet zien dat Product 1254 van Webshop 1 en product 214 van Webshop 2 bij elkaar horen en hetzelfde product zijn.
Deze 2 producten moeten dan hetzelfde productID hebben.
Maar nu vraag ik me af, het is best veel werk om 1000e producten in zo'n database toe te voegen. Als dit eenmaal gedaan is dan is de prijs updaten geen probleem, dit doet hij in een paar minuten van 1000e producten te gelijkertijd zonder handmatige handelingen. Maar om deze 1000e producten eerst in een database te krijgen kost wel veel tijd.
Nu vroeg ik me af of er misschien een andere manier is dan het gebruik van een crawler/spider.
Alvast bedankt!
Met vriendelijke groeten,
Christian
Zo heb ik in C# en in PHP/HTML een crawler gemaakt die een webshop url leest een daarvan de prijs pakt deze in een MySQL database stopt.
Het enigste is dat ik nog handmatig het productID moet invoeren. Want een crawler kan niet zien dat Product 1254 van Webshop 1 en product 214 van Webshop 2 bij elkaar horen en hetzelfde product zijn.
Deze 2 producten moeten dan hetzelfde productID hebben.
Maar nu vraag ik me af, het is best veel werk om 1000e producten in zo'n database toe te voegen. Als dit eenmaal gedaan is dan is de prijs updaten geen probleem, dit doet hij in een paar minuten van 1000e producten te gelijkertijd zonder handmatige handelingen. Maar om deze 1000e producten eerst in een database te krijgen kost wel veel tijd.
Nu vroeg ik me af of er misschien een andere manier is dan het gebruik van een crawler/spider.
Alvast bedankt!
Met vriendelijke groeten,
Christian