Teknoloji Haberleri
Aşağı Git
Tüm Forumlar
Web Tasarım - Programlama
Yazılım Geliştirme
Python
Python Scriptini Cloud Server'da Çalıştırmak
Bu konudaki kullanıcılar: 1 misafir
22
Cevap 4479
Tıklama 0
Öne Çıkarma
Cevap 4479
Tıklama 0
Öne Çıkarma
-
Python Scriptini Cloud Server'da Çalıştırmak
| Statik IP'si olan bir bağlantıda düşük güç harcayan bir bilgisayarı 7x24 çalıştırarak bedava ve tam istediğin gibi bir "Cloud Server" sahibi olabilirsin (Cloud Server deyimini ilk kez görüyorum:)) Düşük güç harcayan bilgisayar olarak Mac mini ve Raspberry pi önerilebilir ilki 10W ikincisi 1-2W harcıyor. İkisini de sunucu olarak kullanıyorum yıllardır hiç donanım hatası vermedi. |
< Bu ileti mini sürüm kullanılarak atıldı > Bu mesaja 1 cevap geldi.
 Satın almak dışında çözümler arıyorum bu arada. |
< Bu mesaj bu kişi tarafından değiştirildi requizm -- 4 Eylül 2018; 0:14:42 >
Bu mesaja 1 cevap geldi.
| Python betiğini Mac/Windows/Linux herhangi bir bilgisayarda çalıştırdığında o senin sunucun demektir. Örneğin ben Raspberry Pi'de Python'la yazılmış olan "deluged" adlı Torrent server programını 7x24 aylarca çalıştırdım, dolayısıyla Raspberry Pi benim sunucum oldu. Bahsettiğin Python betiği cok yüksek CPU istemiyorsa Raspberry Pi'de çalıştırıp 7x24 kullanman olası. Fakat Raspberry Pi 'ye (kısaca rasppi diyelim) uzaktan erişip betiği değiştirmek veya yönetmek isteyeceksin onun için 'sshd' programını ayarlaman gerekecek ki örneğin ben rasppi'de sshd'yi ayarladım böylelikle başka ayarları yapacağım zaman rasppi'nin başına gitmeden, laptop'umdan bağlanarak yapabiliyorum. daha sonra ihtiyaçlar arttıkça ftp sunucu (pure-ftpd), web sunucu (Nginx), database sunucu (mysql), VNC sunucu (masaüstüne bağlanma) programlaarını da kurdum. şu anda uzak yerlere seyahat yaparsam rasppi'yi cebime koyup sunucumu yanımda taşımam mümkün; biliyorsundur rasppi sigara paketi büyüklüğünde birşey ve android cep şarj cihazlarından güç alabiliyor. bunun gibi şeyleri yapmaya başlarsan Python betiği çalıştırma işini de kotarırsın. |
< Bu ileti mini sürüm kullanılarak atıldı > Bu mesaja 1 cevap geldi.
Bu mesajda bahsedilenler: @Requizm
Eğer yapamazsam, bir web sitesi yazıp scriptimi bir şekilde entegre edeceğim. Ardından google cloud veya heroku'ya deploy eder çalıştırırım. Ancak bu kaçındığım ve en son yapmak istediğim şey. O yüzden her türlü fikre açığım. Teşekkürler bu arada cevabınız için. |
Bu mesaja 1 cevap geldi.
|
Pythonanywhere üzerinde Selenium çalıştırmak kasabilir cunku Selenium çalışması için Firefox (veya WebDriver sürücüsünü yüklediğin Chrome, Safari,vs başka bir tarayıcı) RAM'e yüklenmeli. Selenium ile gerçek ve ticari bir web scraping projesi yaptım oradan biliyorum. Java ile yaptım fakat Python 'la da yapsan aynı. Benim projeyi Windows hosting veren biryerde çalıştırdılar ve senelik ücreti $20 falan dediler, şaşırdım cunku VNC ile bağlanıp masaüstünü görebiliyor ve istediğin programı kurabiliyordun ve bamdwidth hızı da baya iyiydi. Pythonanywhere üzerinde Selenium değil de Python - Mechanize modülünü kullanarak Firefox gibi tarayıcı açmadan yine web scraping yapabilirsin, tahminen. Mechanize da Selenium gibi ziyaret ettiğin sitelerde tarayıcı olarak gözüküyor, bildiğim kadarıyla. |
< Bu ileti mini sürüm kullanılarak atıldı > Bu mesaja 1 cevap geldi.
Bu mesajda bahsedilenler: @Requizm
|
< Bu ileti mobil sürüm kullanılarak atıldı >
| Mechanize esasen perl modülü ve ruby ve python'a portlandı. Nitekim Mechanize'ı ben Perl ile kullandım. Python'da BeautifulSoup iyidir Request modulü ile birlikte. |
< Bu ileti mini sürüm kullanılarak atıldı > Bu mesaja 1 cevap geldi.
|
< Bu mesaj bu kişi tarafından değiştirildi requizm -- 4 Eylül 2018; 17:28:7 >
< Bu ileti mobil sürüm kullanılarak atıldı >
|
Mechanize modülünü araştırdım ve bir şeyler denedim. Ancak yaptığım sitede maalesef tıkladığım link paylaşılmıyor. Yani sabit bir link yok. Site bu arada: http://tdk.org.tr/index.php?option=com_yazimkilavuzu&view=yazimkilavuzu Post metodu istediğim gibi işlemiyor. Mesela b harfini arat, ardından aynı linke tekrar girmeyi dene. f5 yapmaktan bahsetmiyorum, anlamışsınızdır zaten. Yani bu sitede scraping yapmak benim için imkansız. Selenium'dan memnunum, ancak platform yok  |
< Bu mesaj bu kişi tarafından değiştirildi requizm -- 4 Eylül 2018; 23:25:29 >
Bu mesaja 1 cevap geldi.
Bu mesajda bahsedilenler: @revivo72
| Mechanize aslında cok yetenekli bir modül fakat biraz alıştırma yapmak gerekli. Selenium en iyisi fakat Browser 'a bağımlı. Her bir browser için farklı webdriver sürücüsü var. Onları tam doğru versiyonlarıyla kurabildiğin bir sunucu varsa ne ala, fakat salt Python scripti olarak çalışacak birşey için Mechanize en mantıklısı. Python'da Scrapy diye birşey daha vardı o da web scraping amaçlı. hiç kullanmadım fakat adını duydum |
< Bu ileti mini sürüm kullanılarak atıldı > Bu mesaja 1 cevap geldi.
Bu mesajda bahsedilenler: @Requizm
|
|
yazdığın program ne işe yarıyor.ç sadece web scrapping ise yani evdeki bilgisayar dışında uzaktan sürekli bağlanma ihtiyacın yoksa 2. el bir raspberi pi al model 2/3 olabilir. 150 tl civarı bulursun. internete bağla bütün gün evde çalışır. yok illa bulutta yapçam diyosan AWS den cloud machine kiralayabilirsin, eğer programın belli periodlarla çalışıyorsa yani saatte bir 2 saatte bir vs AWS lambda kullanabilirsin. sadece programın çalıştığında kullandığı ram cpu vs ödersin daha ucuz olur. Alternatif olarak digitalocean.com dan aylık 5 dolar dan bulut makine kiralayabilirsin. |
Bu mesaja 1 cevap geldi.
|
< Bu mesaj bu kişi tarafından değiştirildi requizm -- 7 Eylül 2018; 13:25:29 >
< Bu ileti mobil sürüm kullanılarak atıldı > Bu mesaja 2 cevap geldi.
|
Skript'i web uygulamasına entegre edince sorun çıkabilir. Nerden sorun çıkar bilemem ama biryerden çıkabilir. Bursa'da 50TL'ye Intel Core2Duo 1066Mhz FSB işlemcili PC 'ler satılıyor. Onlardan bir tane alıp Linux veya OSX kurup sözkonusu işlemi 7x24 yapabilirsin. 1066Mhz olanlar az ısınıyor. |
< Bu ileti mini sürüm kullanılarak atıldı > Bu mesaja 1 cevap geldi.
Bu mesajda bahsedilenler: @Requizm
|
Çalışsın yeter çok çok az kaynak tüketiyor derseniz yılda 4$ a https://lowendspirit.com den nat vps alabilirsiniz (yani size tam bir sunucu verilmiyor bir sunucunun kücük bir parçası ama konsol erişimini var. root yetkiniz var. shared host dan güzel. neyse çok fazla kaynak tüketmiyorsa (ama Nat da istemiyorum derseniz )tavsiyem arubacloud.com olur. ayda 1 avro 1 gb ramli tek çekirdek bir linux veriyor. eğer 1.5 Avro farkla menüyü büyütmek isterseniz 2.5 avro 2 gb ram 1 core veriyor. Ordan sonra Digital ocean o da kesmezse Azure/AWS/Google cloud diye gider. Orada sürekli çalışması için. Ben linux da uzman değilim ancak
olarak (kafasına shebag ekleyerek) $ chmod +x dosyaadi Ardindan bir systemD service file tanımı yapıp bunu ekleyerek. linux restart bile etse çalışacak (yani python as system d service) olarak çalıştırabilirsiniz. https://patrakov.blogspot.com/2011/01/writing-systemd-service-files.html Ben bu yöntemle python ile yazılmış searx isimli meta search engine çalıştırıyorum bu yöndem ile python kodunu arkaplanda kendis calısır. hatta crash ederse otomatik restart edecek yönlemler de mevcut. |
Bu mesaja 1 cevap geldi.
|
 |
Bu mesaja 1 cevap geldi.
|
| Hocam aws nin ismine takılmayın. İçinde blok depolama, sql database, vpn, dns yönlendirme, vps, faas, makine öğrenimi, anında tercüme gibi Birçok servis var. Servislerin tamamına yakını kullandığın kadar öde düzeninde. Baştaki kredi kartına da takılmayın kullanmazsanız bişey kesmiyor. Programınızı en küçük boy EC2 üzerine kurup istediğiniz gibi çalıştırabilirsiniz. Fiyatlandırma kısmından EC2 nin fiyatına bi bakın öyle karar verin. Alternatif olarak daha önce de söylediğim DigitalOcean mantıklı. 5$ aylık sunucu kirası. İsterseniz referanslı link atayım 10$ beriyor size. 2 ay yeter. 1 dakikada sunucu kullanıma hazır hale geliyor. İşiniz bitince sunucuyu tamamen silip faturalandırmayı durdurabilirsiniz. |
< Bu ileti mini sürüm kullanılarak atıldı > Bu mesaja 1 cevap geldi.
Bu mesajda bahsedilenler: @Requizm
Denediklerimi, tecrübelerimi ve neden bıraktığımı söyleyeyim:
1. Google Cloud - Cloud Shell(google konsolu) üzerinden scriptimi çalıştırıyorum, ancak 1 saat sonra tak diye kapatıyor. Oturum süresi boyunca bir şey yapmadınız diye. Biraz araştırdım ve shell zaten istediğim amaçta kullanılamazmış. Yani otomatik kapandığı için olmaz. Şimdi gelelim google cloud'un asıl faydasına. Web sitemi deploy edebilirim, ancak benim istediğim şey web sitesi değil. Yoksa heroku üzerinden yapar geçerdim.
2. Pyhton Anywhere - Bu site aslında tam aradığım özellikte. Ancak scriptimin çalışması için bazı linux kütüphanelerini kurmam gerekiyor. Bu kütüphaneler google cloud shell üzerinden sorunsuz kuruluyorken, python anywhere üzerinden get-apt gibi bir komuta izin bile verilmiyor. Yani google'a göre daha kötü.
3. Amazon Web Service - Bunu denemedim bile. Çünkü web service. Ayrıca aws'ye giriş yaparken kredi kartı bilgileri soruyor, o yüzden.
Aslında bu iş vps veya buna benzer bir şey alınarak sağlanılabilir, ancak hem bir şey satın almak istemiyorum, hem de site üzerinden kontrol daha iyi oluyor.
Çözüm Editi: Amazon Web Service ile 1 dolar kesinti maliyetinde hallettim.
DH forumlarında vakit geçirmekten keyif alıyor gibisin ancak giriş yapmadığını görüyoruz.
Üye Ol Şimdi DeğilÜye olduğunda özel mesaj gönderebilir, beğendiğin konuları favorilerine ekleyip takibe alabilir ve daha önce gezdiğin konulara hızlıca erişebilirsin.
< Bu mesaj bu kişi tarafından değiştirildi requizm -- 13 Eylül 2018; 14:19:34 >