CSV File van 880 MB

[NoellaG]

In extremis kan je in plaats van SQL server ook SQL express (gratis software gebruiken). SQl server of SQL express is niet moeilijker dan Access als je de grafische management studio gebruikt. Op veel vlakken (bv. SQL joins) werkt het zelfs gemakkelijker vind ik. Alleen even opletten dat je als beginner bij de creatie van de database het recuperatie model op "simple' zet, anders blijft de log file groeien als je geen back-up strategie hebt.
Je hebt ookgeen user interface met formulieren, alleen een database met tabellen en views (een beetje zoals access queries), je hebt wel een web georiënteerde rapportering interface. Je beschikt ook wel over een wizard om csv of andere bestanden te importeren zonder de excel beperking.

 

[pixcel]

Ik heb een CSV bestand van 880 MB welke ik heb opgeladen in PowerQuery.
Het bestand bestaat uit 4 kolommen met 17 000 000 rijen.
Nu had ik graag een selectie gemaakt.

Probeer het nog eens met power query. Na het inlezen in de PQ editor moet je 5 (!) kolommen zien.
Kies de filter knop in de kolomkop NaceCode en kies "Filters > Gelijk aan" en vul 49410 in als waarde.
Daarna Sluiten en laden naar een werkblad of naar het datamodel.
Er blijven 41.648 rijen over dus naar een werkblad gaat makkelijk.

 

[NoellaG]

Ik heb de gegevens zonder veel problemen in een SQL tabel kunnen importeren (10 seconden looptijd): in totaal 17.760.904 rijen. Als je me zegt welke gegevens je nodig hebt kan ik die eruit filteren en naar Excel exporteren.

vriendelijke groeten
ng

 

[NoellaG]

Hier vind je het aantal entries per activity groep, enig idee in welke groep transport zit?

activitygroup Aantal
BTW001 2987067
EDR001 12103
OLK001 13983715
POR001 1808
PPO001 27287
RSZ001 731330
SCO001 17594

 

[alphamax]

49410, zie berich#13 en #15.

 

[NoellaG]

in de bijgevoegde zip vind je de lijnen met nacecode 49410

SQL:

use test;
go


select distinct * from [dbo].[activity] where NaceCode = '49410'