powerquery met login

[cow18]

Als beginneling probeer ik met PQ data van een website te halen, maar natuurlijk is die beveiligd met een gebruikersnaam en een paswoord.
Hoe geef je die 2 door ?
Ik zit wat te googlen, maar vind weinig info.

de site is https://melknet.mcc-vlaanderen.be/Default.aspx, maar ik kan natuurlijk niet beide zaken hier neerzetten, eventueel wel in een PB.

 

[AlexCEL]

Via menu Gegevens ophalen > uit andere bronnen > van het web kom ik uit op onderstaand menu. Kun je daar iets mee?

 

[cow18]

ik was ook al zo ver, maar ik krijg een foutboodschap op dat punt met nochtans een geldige gebruikersnaam en paswoord.
Die zelfde gebruikte ik namelijk net daarna om op de oude manier met IE aan webscraping te doen.
Is het de manier waarop ? Moet het een string zijn of een andere gek detail ?

 

[JEC.]

Ik ben hier ook al eens tegenaan gelopen. Blijkt een bekend probleem te zijn, waar zo goed als geen concreet antwoord op te vinden is.

 

[snb]

Misschien hier:

http://www.excel-ist-sexy.de/pq-basics-1-web-abfragen-mit-power-query/

Als het er niet bij staat wil Gunther het graag voor je oplossen.

 

[AlexCEL]

Na enig zoekwerk en wat probeersels kom ik ook tot de conclusie dat het een lastig verhaal is.

Het enige wat ik tegenkom is wat mensen die scriptjes hebben gebouwd zoals hier: http://dailydoseofexcel.com/archives/2011/03/08/get-data-from-website-that-requires-a-login/. Misschien dat de VBA specialisten hier nog wat mee kunnen...

 

[JEC.]

Deze kun je dan proberen om in te loggen met je gebruikersnaam en ww in de code

Sub tabelophalen()
 With CreateObject("InternetExplorer.Application")
    .Visible = True
    .Navigate "https://melknet.mcc-vlaanderen.be/Default.aspx"
     Do While .Busy: DoEvents: Loop
     Set ieDoc = .Document
 End With

 With ieDoc.forms("Form1")
    .MainContent_TextBoxLogin.Value = "gebruikersnaam"
    .Maincontent_TextboxPaswoord.Value = "ww"
    .submit
 End With
End Sub

Daarna moet je nog naar de pagina waar je tabel staat en kun je die op vergelijkbare manier ophalen, zoals te lezen is in de link van Alex

 

[JEC.]

Denk dat het zoiets wordt. Misschien dat je er iets aan hebt

Sub tabelophalen()
 With CreateObject("InternetExplorer.Application")
    .Visible = True
    .Navigate "https://melknet.mcc-vlaanderen.be/Default.aspx"
     Do While .Busy: DoEvents: Loop
     Set ieDoc = .Document
 
 With ieDoc.forms("Form1")
    .MainContent_TextBoxLogin.Value = "gebruikersnaam"
    .Maincontent_TextboxPaswoord.Value = "ww"
    .submit
 End With
 
     Do While .Busy: DoEvents: Loop
    .Navigate "https://melknet.mcc-vlaanderen.be/Default.aspx"   'paginalink van de tabel
     Do While .Busy: DoEvents: Loop
     Set ieDoc = .Document
     Set ieTable = ieDoc.all.Item("de betreffende tabel")
     
     If Not ieTable Is Nothing Then
       Set clip = CreateObject("New:{1C3B4210-F441-11CE-B9EA-00AA006B1A69}")
       clip.SetText "" & ieTable.outerHTML & ""
       clip.PutInClipboard
       Sheets(1).Range("A1").PasteSpecial "Unicode Text"
     End If
    .Quit
 End With
End Sub

 

[cow18]

zo te zien leveren jullie mij de bestaande manier van webscraping, die ik al enkele jaren, zij het met een paar nadeeltjes/onvolmaaktheden, gebruik.
Nu dacht ik datzelfde via PQ te kunnen bereiken, eventueel zelfs mooier, maar ik geraak niet binnen via de voordeur.

@SNB, ik heb mijn duits nog even van onder het stof gehaald, ook eens leuk, maar vond daar eigenlijk ook niets over login, tenzij ik ergens iets gemist heb. Toch bedankt.
Ik denk dat ik voorlopig bij die verouderde Internet Explorer zal moeten blijven.

 

[snb]

Duits is toch jouw officiële landstaal ?

Gebruik jij de inlogmogelijkheid van het 'bestand openen' hulpscherm ?

 

[cow18]

Duits is inderdaad onze 3e landstaal, maar op school had ik er een broertje aan dood, niet wetende dat ik later beroepsmatig duits na het engels vaakst als vreemde taal gebruikt heb in de gesproken versie.

Wat bedoel je in je schermafdruk ? Ik heb inderdaad die site bij mijn internet links staan.
Als ik, in google, dat adres invul, dan worden mijn inloggegevens aangevuld en ben ik vertrokken, alleen lukt dat niet in PQ.
Maar geen probleem, ik zit in mijn leerfase voor PQ, misschien kom ik nog een goeie tip tegen op internet.

 

[pixcel]

Ik verwacht niet dat Power Query het je gemakkelijk gaat maken om html tabellen te scrapen.
https://docs.microsoft.com/en-us/power-query/connectors/web/web
Het mooiste zou zijn als je melknet je data via een andere connector beschikbaar stelt, bijv via een api.
Met jouw ervaring zou ik even een klassieke scrape functie in VBA maken en je tabellen wegschrijven naar csv of een excel document of zo. Gebruik die als externe bron om verder te bewerken met de Power tools.

 

[cow18]

@Frans,
Het zal dus bij het oude moeten blijven.
Bedankt.