Merhaba ben kendi cabamla bir arama motoru yazmaya çalışıyorum spider ve web arayüzü şuan için yayına çıkacak kadar bir şeyler oldu kararlı bir şekilde çalışıyordu fakat önüme gelen bir sorundan dolayı spider ı durdurmak zorunda kaldım fikir verir yada cozum önerisinde bulursanız çok sevinirim,
Sorunum şöyle SQL veritabaninda başlangıç olarak tek tablo açtım ve tüm linkleri o tabloya belli kriterlerle yazdırdım, 60.000 satıra kadar çok hızlıydı ama artık arama sonuclarim SQL dönüşleri çok ağırlaştı, veritabanını kendi bilgisayarıma kurdum hostingden ayırdım hızı aynı diyebiliriz çokta bir şey değişmedi, acaba bu yavaşlık tablo tasarımı yapmadigim icinmidir ? Yada sadece yeterli donanımda bir sunucu da olmadığı icinmidir? Bir türlü asamadim bu sorunu , tavsiyesi olan varmı acaba ?
index boşver, yatay ölçekleyebildiğin ve üzerinde hızlı arama yapabileceğin hatta alaka ve eş anlamlı kelimeleri kullanabileceğin bir ürün lazım. BKNZ: Elastic Search. Dersen Yok illa Sql server kullanacağım dersen 1- İndexlemelisin ama indexlersen yavaş insert eder. Belki bir tabloya yazıp cron ile asıl tabloya ara ara alabilirsin 2- İlla sql bir sistem kullansam Citus data ile posgres kullanırdım. Böylece sorgun bir çok sunucuda paralel çalışır sonra map reduce misali birleşir. Cünkü indexlediğin data büyüdükçe sorgu süreleri uzayacaktır yine . sonuçta RDBMS sistemler bu iş için uygun değil. Arama motoru dediğin koca bir site içinde bir kelimeyi arar dolayısı ile full text search un konusu. Bu konuda RDBMSler destek verir ama yine de verimli değildir.
Sorunum şöyle SQL veritabaninda başlangıç olarak tek tablo açtım ve tüm linkleri o tabloya belli kriterlerle yazdırdım, 60.000 satıra kadar çok hızlıydı ama artık arama sonuclarim SQL dönüşleri çok ağırlaştı, veritabanını kendi bilgisayarıma kurdum hostingden ayırdım hızı aynı diyebiliriz çokta bir şey değişmedi, acaba bu yavaşlık tablo tasarımı yapmadigim icinmidir ? Yada sadece yeterli donanımda bir sunucu da olmadığı icinmidir? Bir türlü asamadim bu sorunu , tavsiyesi olan varmı acaba ?
Bu arada site :www.colbors.com
Basit kelimeler yazarsaniz şuan için buluyor mesela devlet, üniversite,haber,Adana gibi.
Değerli yorumlarınızı sabırsızlıkla bekliyorum saygılarla
DH forumlarında vakit geçirmekten keyif alıyor gibisin ancak giriş yapmadığını görüyoruz.
Üye Ol Şimdi DeğilÜye olduğunda özel mesaj gönderebilir, beğendiğin konuları favorilerine ekleyip takibe alabilir ve daha önce gezdiğin konulara hızlıca erişebilirsin.
< Bu ileti mobil sürüm kullanılarak atıldı >