Opslagberekening - formule of organisatie data

[snb]

Herhaling:

Maar waar komen je Data vandaan? Wat is je eigenlijke bron?

 

[cow18]

Herkenbaar ! Cijfers die reageren vooraleer iets zichtbaar wordt.
Moet je daar ook niet het achtergrondgeluid aan toevoegen ? Ademhalingsproblematiek bij vleeskippen, dat is toch het eerste dat een dierenarts checkt als hij/zij een stal van 70.000 kippen binnen komt of is dat ook al voorbijgestreefd ?

Draaitabellen en PQ kunnen op vergelijkbare manier automatisch vernieuwd worden bv. ieder uur of zo ...

 

[PeterVrmr]

Eigenlijk zijn het in ons geval varkens.
Wou je nog niet opzadelen met die geluiden

Bij varkens heeft minstens 90% bedrijven geen mogelijkheid tot monitoring water-en voeropname.
Hoestmonitor of andere hightech meetapparatuur nog zeldzamer

 

[cow18]

Ik zou ver moeten zoeken, maar had ooit nog iets gezien over spectrumanalyse ivm. bronstdetectie ter vervanging van de zoekbeer.
Was toen (>30 j) niet succesvol, maar de computers waren toen nog niet zo krachtig als vandaag.

 

[PeterVrmr]

ondertussen al bezig met unpivot (dacht dat dit met multiple headerr rows niet mogelijk was)
via transponeren gelukt

 

[snb]

Ik gebruik deze: (nadat ik van kolom A in blad 'Data' de formules vervangen heb door data)

Sub M_snb()
  sn = Sheets("Data").Range("A1").CurrentRegion.Resize(, 37)
   
  With CreateObject("scripting.dictionary")
    For j = 3 To UBound(sn)
      For jj = 0 To 3
        .Item(.Count) = Array(sn(j, 1), sn(2, 2 + jj), sn(j, 2 + jj), sn(j, 6 + jj), sn(j, 10 + jj), sn(j, 14 + jj), sn(j, 18 + jj), sn(j, 22 + jj), sn(j, 26 + jj), sn(j, 30 + jj))
      Next
    Next
   
   Blad9.ListObjects(1).DataBodyRange.ClearContents
   Blad9.ListObjects(1).DataBodyRange = Application.Index(.items, 0, 0)
  End With
End Sub

 

[PeterVrmr]

Sorry, post gemist ivm bron

Alles wordt gelogd in csv-files.
Om grafieken een beetje netjes te houden na vb kleine niet betekenisvolle technische storing, corrigeer (nivelleer) ik soms enkele dagen .
Werk ook met glijdend gemiddelde
Vandaar tussenliggende stap excel; rechtstreeks in csv-files zorgt het voor problemen.
Daarna enkele basisberekeningen, en dagnr, groepnr en vb leeftijd toevoegen

Bedoeling is dagelijkse update meeste data
Voor meldingen wil ik natuurlijk maximale refresh (vb waterlek)

Medewerkers hebben liever geen hoge drempel om data te raadplegen.
Bedoeling is bijna dat het standaard op PC-scherm zichtbaar is.
Vandaar de keuze voor iets als een dashboard met eventueel doorklikmogelijkheden voor verdere analyse of vergelijking.

 

[PeterVrmr]

Bedankt voor vba-script
Ik probeer het zeker uit.

wat is eigenlijk sneller en efficiënter ? VBA of PQ ?
Flexibiliteit naar automatische update ?

 

[snb]

Toon eens een representatief CSV-bestand.

 

[cow18]

Als VBA-ervaringsspecialist en PQ-analfabeet kies ik natuurlijk voor VBA.
Bij het inlezen van een nieuwe CSV kan je steeds die nieuwe data toevoegen aan de oude, eventuele duplicaten verwijderen en de data semi-automatisch vervolledigen met datum, stal, ronde, etc zodat je aan het einde van de rit een steeds grotere database krijgt.

Om grafieken een beetje netjes te houden na vb kleine niet betekenisvolle technische storing, corrigeer (nivelleer) ik soms enkele dagen .

Die begrijp ik niet, Dat zou toch enkel kunnen na het vervangen van bijvoorbeeld een watermeter. Je gebruikt toch een x-as op tijdsbasis (dag+ uur) ?

 

[PeterVrmr]

csv wordt gegenereerd door software Fancom op PC 24/7
- Durft wel eens vastlopen, gevolg 1 dag geen data
- Een voerplaats heeft normaal een buffer van 20-500 kg
Alle voerplaatsen worden 's avonds bijgevuld met batches van 25-100 kg
wanneer er een technische voerstoring is, een silo leeg net voor levering, .... kan er mogelijk een bepaalde dag minder voer naar een voerplaats gestuurd worden
Dit betekent de volgende dag terug aanvulling buffer waardoor er in data 1 dag minder, daarna 1 dag meer voer naar voerplaats gestuurd wordt
Dit betekent niet dat dieren een andere voeropname hadden !

Nauwkeurigheid van dagelijkse voeropname wordt tevens bepaald door batchgrootte :
als sensor van voerplaats met 100 dieren net voor 24:00 nog een bijkomende batch krijgt van 100 kg ipv net na 24:00 betekent dit cijfermatig voeropnameverschil van 1 kg per dier (voeropname afh van leeftijd 0.2-5kg/dag)
Vandaar ook noodzaak tot nivellering via glijdend gemiddelde.
Indien we batchgrootte op lager volume instellen moeten er uiteraard ontzettend meer batches rondgestuurd worden.

betreffende csv stuur ik nog wat door deze namiddag.
Zou het meerwaarde (sneldheid, eenvoud structuur) zijn als ik per parameter een csv laat genereren ipv 1 csv met meerdere parameters ?

 

[cow18]

- Durft wel eens vastlopen, gevolg 1 dag geen data

Dan veronderstel ik wel dat het de verbinding is die vastloopt, in je CSV staan wel nog netjes alle data ?

een silo leeg net voor levering, ...

Dan is de laatste voerbeurt op x kg op dinsdag om 12:34:56 en daarna niets tot donderdag 08:12:14 met y kg. Dan neem je toch de tussentijd in de berekening mee of kijk je terug naar de laatste gekende volledige voerbeurt, stel dat je er voerbeurt aangeeft of die onvolledig was omdat je silo leeg was of omdat er een vijzel blokkeerde of ... .
Je bedoeling is toch om korter op de bal te spelen en met glijdende gemiddelden ben je weer verder van huis.
Ik hoop toch dat je voerprogramma toch ook de exacte tijdstippen zegt en niet grove dagtotalen.

Die CSV, haal je die dan met een verbinding rechtstreeks uit je Fancom en kan dat ook automatisch ?
Daarmee bedoel ik, is er buiten een knop of een instelling binnen het Fancom-programma nog een optie om die aan te vragen ?
Ik veronderstel dat je met vaste voertijden werkt.

En je vraag, snelheid is in deze geen probleem, de verbinding maken zal langer duren dan het inlezen en verwerken zelf en dan spreken we nog altijd maar in grootte-orde van seconden.
ik denk dat de beperkingen eerder aan de kant van Fancom zullen liggen als je de gegevens compacter zal willen meegeven, dus zo compact mogelijk zonder verlies aan info.

 

[PeterVrmr]

Voel dat je wel wat achtergrondkennis hebt !

Fancom software ongewijzigd sinds 2005 ... Cloud of ernstige update : "men is er mee bezig" (10j ?)
Database is SQL maar beveiligd en dus niet toegankelijk voor klanten, vanuit Fancom-programma kan je logs instellen met totaal kg (geen log voertijd), ijdele hoop dus.
Ook het aantal logs is beperkt.
In België wordt er zelden met vaste voertijden gewerkt, enkel brij en NL werkt met voerbeurten.

Gezien we met hopper (kleine opslag) per afdeling werken is gestuurd voer eigenlijk pas voor latere opname.
Die totalen geven eigenlijk voldoende info icm glijdend gemiddelde. (heb ik ook nodig om die batchgrootte te nivelleren)
vb Voerplaats 100 dieren - batch 50 kg - gemiddelde voeropname 2.5 kg
ma : 250 kg = berekende voeropname 2.5 kg
di : 200 kg = berekende voeropname 2.0 kg !
wo : 300 kg= berekende voeropname 3.0 kg !
do : 250 kg= berekende voeropname 2.5 kg
vr : 250 kg= berekende voeropname 2.5 kg
Indien geen nivellering krijg je nogal heftige grafiek die eigenlijk afwijkt van realiteit.

Huidige logs geven eigenlijk voldoende info indien mooi verwerkt naar grafiek
Gecombineerd met bedrijfsinfo als leeftijd, groepsnr, ... kan ik hier al heel wat mee doen.

 

[pixcel]

Met belangstelling dit inhoudelijke draadje gelezen. Als je er al uit bent dan zou je hem op opgelost kunnen zetten. Maar als je nog hulp wilt van de helpers hier dan zou je ze behulpzaam kunnen zijn door passende voorbeelden te geven van je zes (?) log/csv bestanden, zoals al meermalen gevraagd, en wellicht ook van de visualisaties die je daarvan al hebt. Kan dat een basis zijn om verder mee te kijken en denken?
Ondertussen: welkom in de wereld van Power BI!

 

[PeterVrmr]

Lijkt alleen maar boeiender te worden

Databronnen : Bestanden op Sharepoint (iedere 15 min sync vanuit bedrijfsPC)
- in bijlage csv-bestandje met slechts 1 parameter : water en dit voor slechts 13 voerplaatsen.
- Excel met verbinding naar csv, omdat ik daar gegevens wil corrigeren
daarna ook transformeren naar datatabel met dank aan VBA-specialists hier in dit forum !!
- Excel met eigen parameters per voerplaats (vb groepsnr, dagnr ...)

Dacht csv rechtstreeks in PowerBI Service te laden maar puntkomma vindt PowerBI blijkbaar niet leuk. (lukt dus niet)
Doe ik dus nu ook met verbinding in Excel.
Opmaak test-report en dashboard werkt, enkel refresh lijkt niet te werken naar Power BI Service (geen gateway nodig wegens Onedrive Business = Sharepoint = om het uur refresh)
Credentials al 20 keer nagekeken. Ook met gateway lukt het niet.
Deze basis moet natuurlijk eerst werken voor ik verder kan.
Zelfs de meldingen op mobiel werken prima, alleen refresh niet.
Iemand inspiratie ?

 

[cow18]

geen bijlage of bijlage >1.5MB ?

 

[cow18]

je reset is om 23:00:00 en dan lees je ieder uur uit.
Moet je niet telkens lezen op "xx:59:30", dan heb je 24 effectieve leesresultaten per dag, die resultaten van 23:00:27 zijn nutteloos.

 

[PeterVrmr]

idd, ofwel toch totaalteller met berekening dag-en uurverbruik.
vooral voor deze toepassing om melding te geven bij afwijking

Bij tussenstap Excel geen probleem om extra kolommetjes te berekenen.

Dacht ook aan rechtstreekse import ivm die refresh
Maar dan moet ik nog beetje formules uitzoeken om bij rechtstreekse import in PowerBI berekening te doen.
Moet me daarvoor nog in DAX verdiepen

 

[snb]

Ik ben niet ontevreden over deze querytable, met automatische refresh per minuut:

Sub M_snb()
   With Sheet1.QueryTables.Add("TEXT;J:\Download\G_Water per u MF_WebLinkBox_F2MFD1_1_1.csv", Range("A1"))
        .TextFileParseType = 1
        .TextFileTextQualifier = xlTextQualifierSingleQuote
        .TextFileConsecutiveDelimiter = False
        .TextFileTabDelimiter = False
        .TextFileSemicolonDelimiter = True
        .TextFileCommaDelimiter = False
        .TextFileSpaceDelimiter = False
        .RefreshPeriod = 1
        .Refresh False
    End With
End Sub

Overbodige aanhalingstekens kunnen met een gebeurtenisklasse worden verwijderd.

 

[cow18]

10 en 12 hebben een sterk verhoogd waterverbruik(=verdubbeld) tov. normaal, maar die stonden vermoedelijk de 1e 2 dagen leeg.
- Dus dat wordt een beetje AI om zulke zaken er uit te filteren, dat wordt puur VBA, te moeilijk in PQ, want je kan het voorlopig nog niet eens verwoorden wat er moet gebeuren.
- De grafiek is te rommelig om er voorlopig iets mee te doen.

Heb je het verbruik over een langere periode (1 maand ?)