Gegevens van het web inlezen

[bikerron]

Hoi,
Ik heb diverse filmpjes gezien hoe je gegevens vanuit een website kunt koppelen met Excel (Office 19).
Ziet er simpel uit, maar als je het zelf doet dan is het toch even anders.

Ik wil onderstaande site koppelen:
monitoringpublic.solaredge.com/solaredge-web/p/home/public/

De data die er dan wordt ingelezen is echt niet wat ik terug zie:

Document Service Element HTML Element HEAD Text "

Document Service Element HTML Element HEAD Element META
Document Service Element HTML Element HEAD Text "

"
Document Service Element HTML Element HEAD Element META
Document Service Element HTML Element HEAD Text "
"
Document Service Element HTML Element HEAD Element META
Document Service Element HTML Element HEAD Text "
"
Document Service Element HTML Element HEAD Element META
Document Service Element HTML Element HEAD Text "
"
Document Service Element HTML Element HEAD Element META
Document Service Element HTML Element HEAD Text "
"
Document Service Element HTML Element HEAD Element META
Document Service Element HTML Element HEAD Text "
"
Document Service Element HTML Element HEAD Element META
Document Service Element HTML Element HEAD Element TITLE Text Home
Document Service Element HTML Element HEAD Text "
"
Document Service Element HTML Element HEAD Element NOSCRIPT Text Your browser does not support JavaScript.Please enable JavaScript or change browser
Document Service Element HTML Element HEAD Text "
"

Ik heb als browser standaard Google Chrome dus ik neem aan dat met Google Chrome getracht wordt de data in te lezen.
Ik heb de genoemde website bij de instellingen van Google Chrome toegestaan Javascript te mogen gebruiken.
En het resultaat is niet anders.
Wat zie ik over het hoofd?

Ron

 

[AlexCEL]

Normaliter kun je via menu gegevens > van het web een verbinding maken met een website.

Als ik dat met jouw website doe zie ik geen geschikte tabellen om te importeren in Excel.

 

[bikerron]

Beste Alexcel,
Dank voor je snelle reactie. Ik begrijp nu dat niet elke website geschikt is om op deze manier is te koppelen. Best wel logisch. Ergo..... gewoon proberen en als er wat positiefs uitkomt kun je verder.
Groet,
Ron

 

[alphamax]

Zo kan het,
Getest met windows10en en office2007nl.
Laat de code 1 minuut lopen.

InternetExplorer is de enige browser die je makkelijk vanuit VBA kan aanstruren

In module Blad1

Public Sub Main()

    With Cells(1, 1).CurrentRegion

        .ClearContents

        With CreateObject("InternetExplorer.Application")
            .Navigate "https://monitoringpublic.solaredge.com/solaredge-web/p/home/public"
            .Visible = True

            Do
                DoEvents
            Loop While .Busy Or .ReadyState <> 4
            Application.Wait DateAdd("s", 30, Now)    'bij trage site, 30seconden ophogen

            On Error Resume Next

            ltab = 0
            lrow = 0
            For Each objTable In .document.getElementsByTagName("table")
                ltab = ltab + 1
                For Each objRow In objTable.getElementsByTagName("tr")
                    lrow = lrow + 1
                    lcol = 1
                    Cells(lrow, 1).Value2 = ltab
                    For Each objColumn In objRow.getElementsByTagName("td")
                        lcol = lcol + 1
                        Cells(lrow, lcol).Value2 = objColumn.innertext
                    Next
                Next
            Next

            On Error GoTo 0

            .Quit
        End With

        .WrapText = False
        .Columns.AutoFit
    End With

End Sub

 

[bikerron]

Dag alphamax,
Dat een fraaie oplossing, hij doet wel wat maar tijdens het starten komt de mededeling "Deze browser is erg oud ..... probeer Chome of Firefox "
Daarnaast komen er "slechts" 72 rijen binnen.
Ik had ook graag een selectie willen uitvoeren op "Plaats", hierdoor vele rijen minder! maar dat kan pas achteraf begrijp ik.

Ron

 

[alphamax]

Getest met windows10en en office2007nl.
De code maakt rechtstreeks gebruik van de API waarmee de webpagina data binnenhaalt.

Het kan zijn dat je in nieuwere versies van excel rechtstreeks JSON-URL's kan importeren.

https://monitoringpublic.solaredge.com/solaredge-web/p/sites/sitesTable?sort=urlName&dir=ASC&start=[COLOR=#FF0000]" & lStart & "[/COLOR]&limit=20&status=0&category=0&filter=[COLOR=#FF0000]" & sFilter & "[/COLOR]&showMap=false

lStart in stappen van 20
sFilter is "weert" of "heiloo"

 

[pixcel]

Op de pagina's van een centrale zie je rechtsboven in sommige secties een (klein) download csv symbool, dat is voor standaard gebruik bedoeld.
Als je het netjes wilt doen dan vraag je bij de technisch beheerder van je centrale een api key aan voor de Solaredge service, die kan xml, json of csv leveren.
Met power query kun je de gegevens verder bewerken.
https://www.solaredge.com/sites/default/files/se_monitoring_api.pdf

 

[alphamax]

@pixcel
Het aanvragen van een api-key en gegevens opvragen bij de api is inderdaad de beste en eerlijkste manier met de meeste mogelijkheden.
Rest alleen de vraag of bikerron zijn panelen wil vergelijken met die van de buurman, of dat bikerron een energieconsulent is.

 

[bikerron]

Beste Alphamax en Pixel,
Zeer bedankt voor jullie input.
Ik heb er mee gespeeld en ik denk dat ik inderdaad het beste via een API, na bestudering document, kan werken, dat geeft meer "output"
V.w.b. de opmerking van Alphamax.

Mijn doel is om een inzicht te krijgen én te publiceren op de website van heilooenergie.nl, een duurzaam burgerinitiatief in Heiloo, hoeveel panelen er op dit moment aanwezig zijn en hoeveel kWh er al is opgewekt. Ik ben een gepensioneerde vrijwilliger en heb geen enkele binding met wat voor "energie bedrijf" dan ook
Ik ben tot nu "afhankelijk" van informatie van installaties die "public" gezet zijn én van enkele deelnemers die mij de gegevens mailen.
Als ik via een API deze gegevens kan inleen is dat inderdaad veel beter. Ik ga uitzoeken welke installateurs de afgelopen jaren hier installaties geplaatst hebben en ga ze met een open vraag benaderen of zij "mee willen doen"

Dank voor jullie inzet en tijd.
Ron

 

[alphamax]

Dank je voor je uitleg.
Fijn om te lezen dat je een goede analyse wil maken met publieke data.
Mocht je nog vragen hebben, schroom je niet om ze op het forum te stellen.

 

[pixcel]

Mijn doel is om een inzicht te krijgen én te publiceren op de website van heilooenergie.nl, een duurzaam burgerinitiatief in Heiloo, hoeveel panelen er op dit moment aanwezig zijn en hoeveel kWh er al is opgewekt.

Dat is een mooie ambitie. Ik zou je aanraden om klein te beginnen. Bijvoorbeeld in kaart brengen hoe de afgelopen jaren het opwekvermogen in Heiloo zich per jaar ontwikkeld heeft, afgezet tegen landelijke gemiddelden. Zodat iedereen kan zien: we doen het goed hier, of juist niet. Dit is al moeilijk genoeg.
Tzt kun je misschien de globale straling metingen van Wijk aan Zee erbij halen. Zie deze publieke Power BI site.

 

[bikerron]

Dank voor je link, interessant.
Ik ben inderdaad al enige jaren bezig en zie de groei.
Zie de link: Laat zien hoe groen Heiloo is
Maar.... ik denk dat we in dit forum hier even maar niet verder op in moeten gaan.
dank voor je suggestie en "mee denken" :d