Cevap: FiyatSeyir.com - Sıcak Fırsat Takip [Web Android Pro Yayında]

D

donanımhaberiçin

8 yıl

Çavuş

Gerekli bu bize Ahmet reis bekliyoruz.

X

xenofx

8 yıl

Yüzbaşı

quote:

Orijinalden alıntı: ahmetfx

quote:

Orijinalden alıntı: xenofx

hocam veriyi nasıl alacaksın ? hb banlamazmı ipleri ?

HB ve Vatan'dan 14 bin küsür ürün çektim, şimdilik bir şey yok. Vatan arada tekliyor da HB de sorun yaşamadım. Kategori bazlı tarama yapacağım.

Bu isi yapan apiler var. Ucretsizleri dakkada 200 sayfa tarama yapiyor. Parsehuba bak. Sen bu kadar istek yaparsan ipyi engellerler.

< Bu ileti mobil sürüm kullanılarak atıldı >

M

Marrusia

8 yıl

Yarbay

Destekliyoruz hocam her turlu

< Bu ileti mobil sürüm kullanılarak atıldı >

A

ahmetfx

8 yıl

Yüzbaşı

Konu Sahibi

Komple siteyi taramak yerine sitelerde belirli kategorileri tarıyorum. Gözlüktü saatti boş yere meşgul olmaya gerek yok. Ürün bilgileri de ürün sayfalarından değil listeleme sayfalarından almaya karar verdim, çok daha hızlı oluyor. 30 sayfada 30x24 ürün bilgisi alınabiliyor.

G

glaitaht

8 yıl

Teğmen

Beyin fırtınası yapıyorum, şu şekilde yapsanız çekme işlemlerini

Ahmet sitenizden x katalogundaki ilk 24 ürünün sağladığınız alışveriş site fiyatlarını görmek istiyor. X katologunu seçiyor aramaya tıklıyor. Sitede x kategorisinde son 12 saat içerisinde arama yapıldıysa direk sonuçları getiriyor. Eğer son 12 saat içerisinde arama kaydolmadıysa ahmetin kullandığı ip üzerinden gerekli sitelerden datayı çekiyor, Ahmet burada işini bitirirken mevcut datalar siteye zaten kaydolmuş oluyor.

Site p2p sistemi içeriyor kısmen, üstelik işlemide kullanıcıya yaptırıyorsunuz.

İş analisti arıyorsanız ona da lamer gelebilirim yanınıza :D :D uml diagram, desing pattern için araştırma felanda yaparım

Edit: son yorumu okumamıştım, zaten benzer bir şeyi düşünüyorsunuz galiba

< Bu mesaj bu kişi tarafından değiştirildi glaitaht -- 5 Ağustos 2017; 4:56:40 >

< Bu ileti mobil sürüm kullanılarak atıldı >

A

ahmetfx

8 yıl

Yüzbaşı

Konu Sahibi

Hepsiburada, Vatan ve MediaMark'ın ürün listeleme ve kategorisi sistemini entegre ettim. Sistem çok hızlı bir şekilde Anakart kategorisideki ürünleri gezip yeniliyor. Zaten kategorilerde çok da ürün olmadığını fark ettim. İlk taramada
her sitede kaç sayfa ürün var bunun bilgisini de alıyorum. Sistem doğrudan sayfalama üzerinden ilerliyor. Yani siteyi tararken sağa sola bakmıyor, tıpkı bir insan gibi sayfalara tıklayarak ürünlerin ad, fiyat, kategori, url bilgilerini çekiyor.

Olacak, olacak..

Bu mesaja 1 cevap geldi.

T

the.crack.man

8 yıl

Yüzbaşı

quote:

Orijinalden alıntı: ahmetfx

quote:

Orijinalden alıntı: yedikeresekiz

fiyt değişikliklerini otomatik mı alglayacak sistem

7/24 web sitesini komple çekemezsiniz. Hem sunucuyu aşırı yorar hem de site sizi saldırgan olarak algılayabilir. Misal VatanBilgisayar'dan biraz veri çektim, sonra tıkandı. MediaMarkt, İncehesap, Hepsiburada ve Vatan Bilgisayar var şimdilik aklımda.

Güncelleme günde birkaç kez, belki bazı kategoriler daha sık olabilir.

Farklı farklı kişiler fiyat bilgisi çekse hocam?

< Bu ileti mobil sürüm kullanılarak atıldı > Bu mesaja 1 cevap geldi.

G

GjRr1

8 yıl

Yarbay

Takipteyim hocam. İşe yarar bir site olacağa benziyor. Kolay gelsin.

K

Kefelon

8 yıl

Moderatör

Hocam gün gün fiyatları veritabanında tutup bunuda grafik olarak göstermedikten sonra hiçbir işe yaramaz. Bakınca son 1 yılın fiyatları mutlaka tutulmalı her ürün için. O hale gelince ise güzel olur baya. Kolay gelsin.

Bu mesaja 1 cevap geldi.

A

ahmetfx

8 yıl

Yüzbaşı

Konu Sahibi

quote:

Orijinalden alıntı: Kefelon

Hocam gün gün fiyatları veritabanında tutup bunuda grafik olarak göstermedikten sonra hiçbir işe yaramaz. Bakınca son 1 yılın fiyatları mutlaka tutulmalı her ürün için. O hale gelince ise güzel olur baya. Kolay gelsin.

Yapılabilir ama o kadar çok ürünün her günkü fiyatı veritabanını çok doldurur gibi. Belki son 3 gün gibi bir şey yaparım.

Bu mesaja 2 cevap geldi.

A

ahmetfx

8 yıl

Yüzbaşı

Konu Sahibi

quote:

Orijinalden alıntı: the.crack.man

quote:

Orijinalden alıntı: ahmetfx

quote:

Orijinalden alıntı: yedikeresekiz

fiyt değişikliklerini otomatik mı alglayacak sistem

7/24 web sitesini komple çekemezsiniz. Hem sunucuyu aşırı yorar hem de site sizi saldırgan olarak algılayabilir. Misal VatanBilgisayar'dan biraz veri çektim, sonra tıkandı. MediaMarkt, İncehesap, Hepsiburada ve Vatan Bilgisayar var şimdilik aklımda.

Güncelleme günde birkaç kez, belki bazı kategoriler daha sık olabilir.

Farklı farklı kişiler fiyat bilgisi çekse hocam?

Ürün linklerini toplu çekmeye başladım, hazır bir site çekme altyapısı kullanıyordum, şimdi kendim yazıyorum sıfırdan. Çok daha hızlı. Şimdilik ban sorunu yok gibi.

K

Kefelon

8 yıl

Moderatör

quote:

Orijinalden alıntı: ahmetfx

quote:

Orijinalden alıntı: Kefelon

Hocam gün gün fiyatları veritabanında tutup bunuda grafik olarak göstermedikten sonra hiçbir işe yaramaz. Bakınca son 1 yılın fiyatları mutlaka tutulmalı her ürün için. O hale gelince ise güzel olur baya. Kolay gelsin.

Yapılabilir ama o kadar çok ürünün her günkü fiyatı veritabanını çok doldurur gibi. Belki son 3 gün gibi bir şey yaparım.

Hocam bu tarz fiyat sitelerinin hepsi bu şekilde çalışıyor. Diğer türlü anlamı olmaz ki. camelcamelcamel'ı örnek alın bence.
https://uk.camelcamelcamel.com/EVGA-04G-P4-6253-KR-GeForce-Support-Graphics/product/B01MG0ZJRO?context=search

< Bu mesaj bu kişi tarafından değiştirildi Kefelon -- 5 Ağustos 2017; 14:2:15 >
Bu mesaja 1 cevap geldi.

A

ahmetfx

8 yıl

Yüzbaşı

Konu Sahibi

quote:

Orijinalden alıntı: Kefelon

quote:

Orijinalden alıntı: ahmetfx

quote:

Orijinalden alıntı: Kefelon

Hocam gün gün fiyatları veritabanında tutup bunuda grafik olarak göstermedikten sonra hiçbir işe yaramaz. Bakınca son 1 yılın fiyatları mutlaka tutulmalı her ürün için. O hale gelince ise güzel olur baya. Kolay gelsin.

Yapılabilir ama o kadar çok ürünün her günkü fiyatı veritabanını çok doldurur gibi. Belki son 3 gün gibi bir şey yaparım.

Hocam bu tarz fiyat sitelerinin hepsi bu şekilde çalışıyor. Diğer türlü anlamı olmaz ki. camelcamelcamel'ı örnek alın bence.
https://uk.camelcamelcamel.com/EVGA-04G-P4-6253-KR-GeForce-Support-Graphics/product/B01MG0ZJRO?context=search

Sistemin genelini bir hazırlayayım dediğiniz gibi fiyat geçmişi de ekleyebilirim.

F

Fatih617

8 yıl

Binbaşı

quote:

Orijinalden alıntı: ahmetfx

Hepsiburada, Vatan ve MediaMark'ın ürün listeleme ve kategorisi sistemini entegre ettim. Sistem çok hızlı bir şekilde Anakart kategorisideki ürünleri gezip yeniliyor. Zaten kategorilerde çok da ürün olmadığını fark ettim. İlk taramada
her sitede kaç sayfa ürün var bunun bilgisini de alıyorum. Sistem doğrudan sayfalama üzerinden ilerliyor. Yani siteyi tararken sağa sola bakmıyor, tıpkı bir insan gibi sayfalara tıklayarak ürünlerin ad, fiyat, kategori, url bilgilerini çekiyor.

Olacak, olacak..

Yani atıyorum chrome gibi bir tarayıcıyı kullanıp bilgisayarda çalışan programa tıkla, kopyala, sayfadaki renkleri tara gibi işlemler yaptırıyorsunuz doğru mu anladım? Program bu şekilde çalışırsa yavaş olur ama site değişikliklerinden kolay kolay etkilenmez. Sonuçta aynı insan gibi hareket ediyor.

Bu mesaja 1 cevap geldi.

F

Fatih617

8 yıl

Binbaşı

quote:

Orijinalden alıntı: ahmetfx

quote:

Orijinalden alıntı: Kefelon

Hocam gün gün fiyatları veritabanında tutup bunuda grafik olarak göstermedikten sonra hiçbir işe yaramaz. Bakınca son 1 yılın fiyatları mutlaka tutulmalı her ürün için. O hale gelince ise güzel olur baya. Kolay gelsin.

Yapılabilir ama o kadar çok ürünün her günkü fiyatı veritabanını çok doldurur gibi. Belki son 3 gün gibi bir şey yaparım.

Her fiyat maksimum 10 bayt yer kaplasa ve 10.000 ürünü her gün 1 yıl boyunca takip etseniz veritabanı toplam 3.5 mb yer kaplar

K

karbonbazliorganizma

8 yıl

Yüzbaşı

Siteni merakla bekliyorum.Şimdiden kolay gelsin.

< Bu mesaj bu kişi tarafından değiştirildi karbonbazliorganizma -- 5 Ağustos 2017; 14:28:20 >

< Bu ileti mobil sürüm kullanılarak atıldı >

A

ahmetfx

8 yıl

Yüzbaşı

Konu Sahibi

quote:

Orijinalden alıntı: Fatih617

quote:

Orijinalden alıntı: ahmetfx

Hepsiburada, Vatan ve MediaMark'ın ürün listeleme ve kategorisi sistemini entegre ettim. Sistem çok hızlı bir şekilde Anakart kategorisideki ürünleri gezip yeniliyor. Zaten kategorilerde çok da ürün olmadığını fark ettim. İlk taramada
her sitede kaç sayfa ürün var bunun bilgisini de alıyorum. Sistem doğrudan sayfalama üzerinden ilerliyor. Yani siteyi tararken sağa sola bakmıyor, tıpkı bir insan gibi sayfalara tıklayarak ürünlerin ad, fiyat, kategori, url bilgilerini çekiyor.

Olacak, olacak..

Yani atıyorum chrome gibi bir tarayıcıyı kullanıp bilgisayarda çalışan programa tıkla, kopyala, sayfadaki renkleri tara gibi işlemler yaptırıyorsunuz doğru mu anladım? Program bu şekilde çalışırsa yavaş olur ama site değişikliklerinden kolay kolay etkilenmez. Sonuçta aynı insan gibi hareket ediyor.

Tam öyle değil. PHP ile çalışıyorum. Bütün sayfayı çekip içinden verileri ayıklıyor sistem. Yavaş değil aslında. Yani bundan hızlı olamaz. Sadece belirli kategorileri geziyor. Sitede gereksiz boş sayfa gezmiyor. Az önce de toplu güncelleme sistemini tamamladım. Tek tıklama ile 10'ar saniye ara ile bütün sayfaları geziyor.

İ

İplenmemekten Bıkan Adam

8 yıl

Binbaşı

Öncelikle başarılr;

Premium proxy servislerini kullanmanızı öneririm. Fazla bir gideriniz olmaz(free kaliteli bile bulunabilir). Hemde çalışırken sıkıntı yaşamazsınız. Kodlarken optimizasyona çok dikkat etmenizi öneririm ilerde kullanmaya başlayınca 100 onlineda bile teklemesin sistem. Güzel bir optimizasyonla tamamen geçmişe dayalı bir veritabanı karşılaştırma grafik mail bildirimi vs gibi özellikler sunucu tarafında sorun yaşatmaz. Tabi sistem belirli barajı geçince güzel bir sunucu kiralamanız gerekebilir malum sonuçta donanımhaber kullanıcıları sadece trafik sebebi :)

Başarılar, yardıma ihtiyacınız olursa iletişim kurabilirsiniz.

< Bu ileti mini sürüm kullanılarak atıldı >

A

ahmetfx

8 yıl

Yüzbaşı

Konu Sahibi

Son 1 saat gibi zaman dilimlerinde fiyatı değişen ürünleri listeleme özelliği ekledim. İnceHesap'tan da veri çekim işlemi yaptım. 19 bin link oldu. 1 saattir dört siteyi tarama işlemi devam ediyor. Her taramada 5 saniye aralık bırakıyorum.

< Resime gitmek için tıklayın >

< Bu mesaj bu kişi tarafından değiştirildi ahmetfx -- 5 Ağustos 2017; 22:31:10 >

A

Amcui

8 yıl

Yüzbaşı

Başarılar hocam.

Uğraşmanız lazım bayaa.

Ölücük mod: developer on

< Bu ileti mobil sürüm kullanılarak atıldı > Bu mesaja 1 cevap geldi.