CSV bestand te groot voor Excel

[ChrisExcel1]

Hallo allemaal,

Ik maak regelmatig gebruik van een CSV bestand op basis waarvan ik analyses maak in Excel.
Nu is dit bestand ondertussen te groot geworden om geopend te kunnen worden in Excel (teveel rijen), omdat het maandelijks wordt aangevuld.

Wat is de meest eenvoudige methode om uit dit bestand een selectie te maken (ik heb bijv. alleen de gegevens van een bepaald jaartal nodig) en dit vervolgens te exporteren naar Excel.

Op kantoor kan ik gebruik maken van Access als dat een oplossing kan bieden, hier werk ik alleen nooit mee. Ik lees ook van alles over SQL, maar daar heb ik geen software van en ik heb ook geen idee hoe het werkt. Als het nuttig is voor dit soort zaken zou ik me daar wel in willen verdiepen.

Heeft iemand advies over de beste werkwijze voor dit soort bestanden?
Vriendelijk bedankt!

Chris

 

[edmoor]

Over hoeveel regels heb je het dan?
De max van Excel is 1.048.576

 

[ChrisExcel1]

Over hoeveel regels heb je het dan?
De max van Excel is 1.048.576

Het zijn er meer dan 6 miljoen.

 

[edmoor]

Dan moet je echt naar een database.
Of het document opsplitsen per jaar?

 

[AlexCEL]

Ik werk nooit met zulke grote databases maar volgens mij kan je via Power Query, onderdeel van Excel, het aantal regels dat je importeert wel beperken of met files van meer dan 1 miljoen regels werken.

Zie ook hier https://www.masterdataanalysis.com/ms-excel/analyzing-50-million-records-excel/

 

[edmoor]

Dat ziet er goed uit!

 

[ChrisExcel1]

Ik werk nooit met zulke grote databases maar volgens mij kan je via Power Query, onderdeel van Excel, het aantal regels dat je importeert wel beperken of met files van meer dan 1 miljoen regels werken.

Zie ook hier https://www.masterdataanalysis.com/ms-excel/analyzing-50-million-records-excel/

Als het zo makkelijk en goed werkt zoals het daar staat zou dat super zijn!
Ik ga ermee aan de slag. Thanks voor de tips!

 

[AlexCEL]

Succes ermee. Power Query is een mooi stukje gereedschap binnen Excel. Laat maar even weten of het lukt of niet.

 

[ChrisExcel1]

Het is gelukt! Dit biedt nieuwe mogelijkheden, bedankt voor de tip

 

[snb]

Gewoon in VBA:

Sub M_snb()
   ReDim sp(10 ^ 6, 5)
   
   Open "G:\OF\groot.txt" For Input As 1
      Do Until EOF(1)
        Line Input #1, sp(n Mod 10 ^ 6, n \ 10 ^ 6)
        n = n + 1
      Loop
   Close
   
   Sheet1.Cells(1).Resize(UBound(sp) + 1, UBound(sp, 2)+1) = sp
End Sub

 

[ChrisExcel1]

Bedankt voor het meedenken, maar met VBA heb ik zelf nog niet gewerkt.
De Power Query werkt zo te zien goed, dus voor nu kan ik daar mee uit de voeten.

 

[pixcel]

Power Query is de way to go. Als je geen selectie op jaar wilt maken dan kun je je volledige bestand doorladen naar het datamodel (aka Power Pivot), die kan dat prima aan.
Welkom in de wereld van Modern Excel en Power BI.

 

[snb]

Zo 'modern' dat het gebruik maakt van deze klassieke techniek:

Sub M_snb()
  c00="G:\OF\"
  c01="groot.txt"

  With CreateObject("ADODB.Recordset")
    .Open "SELECT * FROM " & c01, "Driver={Microsoft Text Driver (*.txt; *.csv)};" & "Dbq=" & c00
    MsgBox "This text file has " & UBound(.GetRows, 2) & " line[s]."
  End With
End Sub