Maximum snelheid Excel bereikt?

[Revolutionary]

Goedemiddag helpers,

Ik heb een vrij groot excelbestand gemaakt (+/- 60MB) waar ruim 3 miljoen berekeningen in staan, met een macro worden al deze berekeningen tegelijk uitgevoerd. Het duurt vervolgens 1 a 2 minuten voordat alles doorgerekend is.

Ik heb vorige week een nieuwe laptop gekocht met een core i7 processor en 6GB RAM en de berekeningen gaan nu al een stuk sneller dan op mn oude laptop (op mn oude laptop hoefde ik dit aantal berekeningen niet eens uit te proberen, want dan liep alles vast). Maar als ik Windows Taakbeheer open om te zien hoog het processorgebruik en Fysiek geheugen is lijkt het erop dat nog niet alle kracht van mn laptop wordt gebruikt voor de berekeningen. Het processorgebruik tijdens de berekening is tussen de 10 en 20%, bij normaal gebruik ligt dat tussen 3 en 5%. Het fysiek geheugen ligt tijdens de berekeningen tussen de 50 en 60%, bij normaal gebruik is dat tussen de 20 en 30%. Ik heb ook een printscreen toegevoegd van de Windows Taakbeheer, zie In de printscreen valt ook te zien bij de geschiedenis van processorgebruik dat 4 van de 8 processors geen gebruik vertonen (excel geeft overigens wel aan dat 8 processors worden gebruikt tijdens de berekeningen). Weet iemand hoe dat komt? Of kan ik dat beter in een andere sectie op dit forum vragen?

Dus nu vroeg ik mij af of dit aan mn laptop ligt of dat ik misschien de maximum snelheid van Excel bereikt heb? Ik heb automatic calculation, screen updating en events al uitgezet.

Als het aan Excel ligt dan ga ik denk ik proberen of ik via VBA een groot aantal berekeningen kan uitvoeren.

Alvast bedankt!

Tim

 

[Superzeeuw]

Tim,

Deze vraag kun je idd beter op een ander gedeelte van dit forum stellen waar de wiskids zitten die hier verstand van hebben.

 

[crash]

Gaat het merendeel over Excel, dus kan het prima in deze sectie.

 

[Superzeeuw]

@ Crash,

Als je de vraag aandachtig leest dan zie je dat de inhoud verwijst naar systeem gerelateerde aspecten en dat Excel als note wordt geplaatst.

Dus mijns ziens hoort deze vraag hier niet thuis.

 

[jjust]

Het is denk ik lastig om je vraag te beantwoorden zonder te weten wat je precies aan het berekenen bent. Ik heb vergelijkbare ervaringen bij het verwerken van grote hoeveelheden statistische data met name stochastische processen. Als het bij jou om vergelijkbare toepassingen gaat kan ik je aanraden om met meer statistische/numerieke pakketten te gaan werken. Deze werken vaak meer precies en sneller. Als het over iets heel anders gaat heb ik niets gezegd. :d

 

[Revolutionary]

@ Crash & Superzeeuw: Ik zal de vraagstelling iets aanpassen zodat ie van toepassing blijft op Excel. De overige vragen over mn laptop zal ik dan in een andere sectie stellen. Weet iemand of er soort van maximum snelheid zit aan de berekeningen in Excel? Met andere woorden, ook al koop je een nog zo snelle laptop/pc Excel gaat er niet sneller van rekenen? En zijn er nog meer manieren om Excel sneller te maken dan het uitzetten van automatic calc, events en screen updating, zonder VBA te gebruiken?

@ jjust: Ik gebruik Excel voor een Monte Carlo Simulatie (MCS). In mijn bestand wordt 2.500.000 keer ad random een getal gekozen uit een reeks van 30 getallen en deze worden opgeslagen in 500 kolommen met ieder 5000 regels. Iedere regel is een simulatie van wat zou kunnen gebeuren in de toekomst, dus in totaal zijn er 5000 simulaties. 5000 lijkt wat veel, maar dat is wel nodig om het statisch betrouwbaar te maken. Vervolgens wordt er in een ander tabblad met deze 2,5 miljoen uitkomsten ook weer 2,5 miljoen andere berekeningen gedaan. Inmiddels is het bestand ook al 90 MB groot... MCS software is wel te koop, maar vrij prijzig, dus daarom probeer ik zelf een MCS te bouwen.

Groeten,
Tim

 

[trucker10]

Beste Revolutionary
Dit kan je terug vinden op o.a. deze site

Je kan je der vragen bij stellen of het nodig is voor excel .

Does Excel 2007 run faster in 8 GB RAM PC than 4 GB RAM PC?
I am wondering if 8 GB RAM PC will make Excel 2007 to run faster than PC with less (e.g. 4 GB) RAM.


1/1/10 We have run tests with memory and found that we see no performance increase with RAM beyond 3 GB. We also tested on 32bit versus 64bit machines and found no notable performance increase.

 

[Revolutionary]

Beste trucker10,

Bedankt voor de link! Ik ga het eens doornemen en ik ga gelijk ook op zoek of er een zelfde website is over excel 2010. Ik gebruik nu excel 2007, maar als excel 2010 duidelijk betere specificaties heeft stap ik graag over.

Als ik een antwoord op mn vragen vind dan zal ik dat in deze topic plaatsen.

Tim

 

[Revolutionary]

Ik heb de link naar Excel 2010 ook gevonden, zie http://msdn.microsoft.com/en-us/library/ff700514.aspx

Ik heb de sites vluchtig doorgenomen en voor mezelf de conclusie getrokken dat ik binnenkort overstap op Excel 2010

The 64-bit version of Excel 2010 is not constrained to 2 GB of RAM [...] Starting in Excel 2010, additional performance improvements were made to further increase calculation speed.

Ik zet deze topic op opgelost.

 

[jjust]

@Revolutionary dus toch. Ik heb dat zelf ook veel met excel gedaan maar vond uiteindelijk toch de snelheid vervelend worden. Zal ook eens naar excel 2010 kijken.

Ik werk nu zelf meer met Matlab maar dat is inderdaad prijzig. Er zijn echter ook meer open source alternatieven die goed schijnen te werken. Zoals R http://www.r-project.org/ en octave http://www.gnu.org/software/octave/

Succes

 

[petje11]

Je kunt in windows ergens aangeven dat je 8 cores hebt en dat ie die ook daadwerkelijk gebruikt.
Volgens mij is dit ook een keer hier op het forum voorbij gekomen. Ik weet even niet zo gauw waar dat ook alweer moet.

Misschien helpt dit ook voor je berekeningen in excel.

 

[Revolutionary]

Ik heb vanmiddag een 30-dagen trial van Excel 2010 erop gezet en ik ben er erg te spreken over De MCS die ik heb gemaakt gaat nu ongeveer 2x zo snel als met Excel 2007, de berekeningen duren nu ongeveer 1minuut. Gelukkig ga ik de MCS niet dagelijks gebruiken, dus dan is steeds 1minuut wachten op de berekeningen wel te doen.

Ik ga binnenkort zeker eens kijken naar de links die je gepost heb:thumb:

Voordeel van Excel vind ik dat ik zelf ook kan bepalen wat berekend moet worden, bij software pakketten moet je het doen met hetgeen zij hebben ingebouwd. Een aantal gegevens wil ik namelijk graag weten, zoals winning/losing streaks, expectancy, drawdown depth en nog een aantal zaken.

Tim

 

[Revolutionary]

@ petje11: Bedoel je niet de functie in Excel waarmee je kan aangeven hoeveel processors er worden gebruikt? Bij mij staat ie al op "threads toestaan bij berekeningen" en "alle processors op de computer gebruiken".

Of bedoel je echt een functie in Windows? Ik kan me haast niet voorstellen dat Windows niet alle processors gebruikt die in een laptop zitten. Maar goed, ik ben geen computer expert...

Tim

 

[E v R]

En zijn er nog meer manieren om Excel sneller te maken dan het uitzetten van automatic calc, events en screen updating, zonder VBA te gebruiken?

Het wegschrijven naar de sheets om er dan vervolgens weer berekeningen op uit te voeren zal waarschijnlijk de grootste vertrager (kunnen) zijn.

wellicht kan jouw code efficienter gemaakt worden (maar met 2.500.000 berekeningen zal het denk ik nooit supersnel worden)

 

[Revolutionary]

Ja ik denk dat je gelijk hebt E v R. 5miljoen berekeningen in een bestand is natuurlijk een flinke belasting voor Excel. Ik ben nu inderdaad bezig om de VBA-code te optimaliseren, ik heb daarnet ook een vraag gepost in de Excel sectie over het sneller updaten van grafieken, hopelijk zorgt dat ervoor dat het al sneller gaat.

Er is ook een website die beschrijft hoe je een MCS in zn geheel in VBA kan maken, maar ik ben nog niet zo bekend met VBA dus ik probeer het eerst op deze manier op te lossen. Uiteindelijk zal ik wel steeds meer in VBA gaan doen, aangezien dat toch efficienter is. Stap voor stap kom ik verder

 

[petje11]

Het is echt ergens in windows een vinkje zetten. Maar ik ga voor je opzoek. Ik ben de link kwijt maar vind het wel.

Gevonden:

Windows 7 opstarten versnellen

Windows 7 is een vrij zwaar bestuuringssysteem, hoe voller de computer raakt en hoe meer er geinstalleerd wordt hoe langer het opstarten gaat duren.
Toch is er een makkelijke tweak om Windows 7 in veel gevallen sneller op te laten starten.
Deze tweak werkte ook op windows vista, en bij het testen bleek ook dat dit uitkomst bied voor windows 7!

De tweak voer je als volgt uit:

* Ga naar Start en type bij bestanden of programma’s zoeken het volgende: “msconfig”
* Ga naar het tabblad Computer opstarten en klik op geadvanceerde opties.
* Zet een vinkje bij aantal processors en selecteer het aantal cores dat jou PC heeft(Core duo = 2 Quad Core = 4).
* Klik op OK en Apply
* Herstart de computer

Let op dat je wel het goede aantal processors instelt, het instellen van meerdere terwijl deze niet in het systeem zit kan leiden tot problemen en heeft totaal geen nut! Kijk dus van te voren naar het aantal cores in de computer. dit kun je bekijken via de task manager (rechter muisknop op de menu balk –> taakbeheer starten -> het aantal processoren zie je bij prestaties.

 

[Superzeeuw]

@ Petje,

Dit is wat ik o i-net vindt:

/NUMPROC=nnn — Sets the number of processors that Windows will run at startup. With this switch, you can force a multiprocessor system to use only the quantity of processors (number) that you specify. Useful for troubleshooting performance problems and defective CPUs.

Hier staat beschreven dat het enkel gebruikt wordt om tijdens de startup het aantal opgegeven processors toe te passen maar niet tijdens het runnen van een applicatie.

 

[petje11]

Ik las het zelf ook, maar niet geschoten is altijd mis. Vandaar.

 

[trucker10]

Petje niet wisselen met de advanced options bij Excel

 

[petje11]

Nee, trucker10 die bedoelde ik niet. Dat is voor mij een nieuwe.

Wat ik zei heb ik zelf ook gedaan en ik had het idee dat mijn computer over het algemeen wat beter omging met de cores. Maar dat is puur subjectief.