DOBON.NETプログラミング道掲示板

ツリー一括表示

Nomalアイコン WebClientが上手く動かない /minarai_database (19/12/08(Sun) 16:56) #34415
Nomalアイコン Re[1]: WebClientが上手く動かない /魔界の仮面弁士 (19/12/08(Sun) 22:38) #34416
  └Nomalアイコン Re[2]: WebClientが上手く動かない /minarai_database (19/12/09(Mon) 09:04) #34417


親記事 / ▼[ 34416 ]
■34415 / 親階層)  WebClientが上手く動かない
□投稿者/ minarai_database 一般人(7回)-(2019/12/08(Sun) 16:56:00)
  • アイコン環境/言語:[VisualStudio2017 VB、C#] 
    分類:[.NET] 

    いつもお世話になっております。
    
    下記のコードで、HPのHtmlデータを取得しようとしましたが、WebClientで上手く取得することが出来ません。何故だか?わかる人いますか?
    
    Imports System.Net
    Public Class Form1
        Dim MyPage1 As String = "https://jp.kabumap.com/servlets/kabumap/Action?SRC=marketList/base"
        Dim MyPage2 As String = "https://jp.kabumap.com/servlets/kabumap/Action?SRC=marketList/base&page=2&sector=all&dg=fc83b64775cd1d2497a215b4d20946381ef5781226df837805aed5f0ce6cfd93"
        Dim MyWebClient As New WebClient
        Private Sub Button1_Click(sender As Object, e As EventArgs) Handles Button1.Click
            Dim HtmlData1 As String = MyWebClient.DownloadString(MyPage1)
            Dim HtmlData2 As String = MyWebClient.DownloadString(MyPage2)
        End Sub
    End Class
    
    Dim宣言の"https://〜" の部分をCtrlキーを押しながらマウスクリックするとHPが開けるのでアドレスは間違っていません。
    
    HtmlData1には、正しい、HtmlDataが取得できますが、HtmlData2には、取得するHtmlDataを見ると、<title>株マップ.com エラーが発生しました</title>となって受け付けていないことが判ります。
    
    原因が分かる人いますか?
    

違反を報告
[ □ Tree ] 返信 削除キー/

▲[ 34415 ] / ▼[ 34417 ]
■34416 / 1階層)  Re[1]: WebClientが上手く動かない
□投稿者/ 魔界の仮面弁士 大御所(1270回)-(2019/12/08(Sun) 22:38:59)
  • アイコンNo34415に返信(minarai_databaseさんの記事)
    > HtmlData1には、正しい、HtmlDataが取得できますが、
    この元サイト、SSL 使っておきながら mixed content になってるし、
    あえて XHTML Basic が指定されているのに、整形式なだけで
    全然 Valid になっていないですね…。
    中途半端に対応させるぐらいなら、普通に HTML 4.01 か HTML5 で
    実装すれば良いのに、と思ってしまいましたが、それはさておき。


    > HtmlData2には、取得するHtmlDataを見ると、<title>株マップ.com エラーが発生しました</title>となって受け付けていないことが判ります。
    Mixed contents である以上、リファラーが原因では無いと思うので、
    たぶん、セッション Cookie を処理していないからではないですかね?
    VB で実験はしていませんが、サーバーのレスポンスを覗いてみると、
    Set-Cookie ヘッダーが返却されているようですし。
    http://neue.cc/2009/12/17_230.html


    試しに Cookie や遷移情報が無い状態でブラウジングするため、
    開いているブラウザをすべて閉じてから起動しなおしたうえで、
    Chrome なら Ctrl+Shift+N、 IE/Edge なら Ctrl+Shift+P を押して
    シークレットモード/InPriavateブラウズモードにしてから
    MyPage2 の URL を開いてみてください。
    VB の場合と同様のエラーを再現できませんか?
違反を報告
[ 親 34415 / □ Tree ] 返信 削除キー/

▲[ 34416 ] / 返信無し
■34417 / 2階層)  Re[2]: WebClientが上手く動かない
□投稿者/ minarai_database 一般人(8回)-(2019/12/09(Mon) 09:04:32)
  • アイコン魔界の仮面弁士様 
    お返事有難う御座います。

    検討すべき問題点が、明確になり大変助かりました。
    >それはさておき。の下りは、私には全く判別できませんでした。

    教えて頂いたことを、ベースに再検討してみたいとおもいます。
    有難うございました。
違反を報告
[ 親 34415 / □ Tree ] 返信 削除キー/


Mode/  Pass/


- Child Tree -