Türkiye İstatistik Kurumu (TÜİK) sitesinden dosya indirme

[mahsuni]

Selamlar,
TUIK her ayın 3. de, saat 10'da enflasyon ve endeksleri yayınlamaktadır.

Örneğin kasım ayı için yayınlanmış link aşağıdadır.

https://data.tuik.gov.tr/Bulten/Index?p ... 2021-37317

Her ay bu siteden (linkte sağ tarafta ki excel) istatiksel tablolarını program aracılığı ile indirmek istiyorum.

Bu link adreslerini doğrudan nasıl elde edebilirim.

Bu konu hakkında değerli fikir ve önerilerinizi bekliyorum.

[mrmarman]

Merhaba.
* Bunu ben daha önce yapmıştım ancak öğrenmeniz açısından adım adım gidebiliriz.
* Sorunuzdan WEB sitesinden HTML içerik alıp, bunu parse ederek yararlı veriyi sadeleştirmek üzerine bir deneyiminiz olmadığı şeklinde algılıyorum.
* Bir web sitesine POST işlemi üzerine forumda çok sayıda başlık / cevap var. Öncelikle buradan yola çıkarak bir proje oluşturmak ve oluşturduğunuz kod ile bu başlık altından sorunun devamını getirmek isteyebilirsiniz.

* Size POST parametrelerini veriyorum. Devamını getirerek gelen HTML içeriğini almayı dener misiniz ?

Kod: Tümünü seç

    BaseURL = 'https://data.tuik.gov.tr/Search/GetHaberBultenleri';


    ['Arsiv']                     = 'false';
    ['Kategoriler[0][Id]']        = '106';
    ['AltKategoriler[0][UstId]']  = '106';
    ['VeriYillari[]']             = '2021';

        Tufe  : ['AltKategoriler[0][AltId]']  = '1014';
                ['SearchParameter']           = 'tüfe';

        Ufe   : ['AltKategoriler[0][AltId]']  = '1076';
                ['SearchParameter']           = 'üfe';

[mahsuni]

Sayın M. Arman
Cevabınız için teşekkür ederim.
Dediğiniz gibi; WEB sitesinden HTML içerik alıp, bunu parse etme konusunda deneyim sahibi değilim.
Biraz daha somut bilgi vermeniz mümkün mü?
Sanırım örneği hazırlamışsınız. Bu kodu paylaşır mısınız?

Teşekkür eder çalışmalarınızda başarılar dilerim.

[mrmarman]

@mahsuni

* Fikir ve öneri olarak yaklaşımda bulunmaya çalışıyorum.
Bu delphiturkiye linkini inceleyerek bir web sitesinden nasıl veri çekilir içerik nasıl elde edilir kısmıyla başlayabilirsiniz.

Yönerge :
1. Önce TUIK'ten daha önce verdiğim parametler aracılığıyla POST ile sorgu yapılarak TUFE veya UFE içeren HTML kaynak elde edilir.
2. HTML kaynak içerisinden incelendiğinde "<tr style="font-size: 15px" role="row"" ile başlayan başlıklardan odaklanacağımız her bir veri başlığına STRING operasyonlar ile ulaşılıp veri alınır ( pos/copy/delete )
3. Alınan her Veri Başlığı ve URL'is Listeye alınır.
4. (1) nolu adımdaki gibi Bu listedeki veri seçildiğinde ilgili URL yeniden HTML kaynağı alınmak üzere GET ile sorgu yapılır
5. (2) nolu adımdaki gibi içerisinden bu defa "onclick="Sayaclar(''Tüketici Fiyat Endeksi (2003=100)" anahtarı ile TUFE vb. veri başlığı bulunarak takip eden EXEL linki alınır.
6. (4) nolu adımdaki gibi yeniden bu defa EXEL linki bir MemoryStream içerisine alınır ve fiziksel bir dosyaya save edilir.
7. Excel.Application açılır bu fiziksel dosya open edilir ve işlem tamam.

* Kodu paylaşır mıyım diye sormuşsunuz, sonuçta forumda bunu yapmak için bulunuyoruz. Sadece hazırlamış olduğum kodu olduğu gibi hemen şimdi versem bile direkt anlamayacağınızı (öyle demeyeyim de anlamak için zaman ayırmayacağınız diyelim) değerlendiriyorum. Çünkü çok aşamalı bir işlem gerekiyor.

* Bu kadar işlemi hazır kod olarak vermek size bir iyilik yapmak demektir anlıyorum ama şahsıma farklı bir etiket yükler. Zaten bunu kendi projelerimden birinden devşirdim. Ayırdığım tek vakit bağımsız bir proje haline dönüştürmekti.

[mahsuni]

Sayın Arman

Kod: Tümünü seç

 BaseURL = 'https://data.tuik.gov.tr/Search/GetHaberBultenleri';

Bu link çalışmıyor. Kaynak kodunu nasıl alacağım.

[mrmarman]

Bu link sadece POST kabul eder. Siz GET ile çağrı yapıyor olmalısınız.

Http Post işlemi olarak bir araştırma yapınız.

[mahsuni]

Sayın M. Arman,

Değerli katkılarınızla çözüme ulaştım.

Öğrenmek istediğim bu post parameterlerini nasıl elde ettiniz.
Bu konuyu biraz daha açmanızı rica ediyorum.

"Yurt içi üfe" için gerekli olan post paramaterlerini nasıl öğrenebilirim.

Şimdiden teşekkürlerimi sunarım.

[mrmarman]

@mahsuni tebrik ederim. Çabuk aksiyon aldınız...
Google Chrome ile ilgili siteye gidip arama yapmadan önce

* F12 tuşuna basıp "Geliştirici Araçları" bölümünü açarız.
* Burada ana başlık "NETWORK" olanı seçeriz.
* Sol pencerede görünen siteden arama işlemi için seçimlerimiz yaparak "ARA" butonuna basarız.
* İşlem sonucu geldiğinde sağ açık pencerede süreç görüntülenir.
* !!! Burada odaklanacağımız kısım "PAYLOAD" başlığı olanlardır. Post parametreleri burada yer alır.