Cevap: Histogram Based, Real Time Lossless Data Compression Algorithm λ∈[(ArgMax⇔>∀xω1)

6 yıl

Yarbay

Hm. Yaptım demekle olmaz. Yaptım dediğiniz bu yeni sıkıştırma yönteminin implementasyonu var mı yani indirip deneyebileceğimiz? Öyle birşey olsa birşey konuşmanıza gerek kalmaz zira ürününüzün kendisi konuşur.

< Bu ileti mini sürüm kullanılarak atıldı >

A

ayhanarican

6 yıl

Onbaşı

quote:

Orijinalden alıntı: Guest-4D62BFE91

hala defalarca kullanmaktan bahsediyorsun, bu bir hayal anla artık. bunu sana daha sade bir şekilde anlatabilirdim ama harcayacağım zamana değmezsin.

sıkıştırma algoritman o kadar iyiki çıktı boyutu orijinal boyuttan büyük oluyor bunu da LZ ile ekstra küçültmeye çalışıyorsun.

Sen müneccim misin? Burada bahsi geçen konulara değinmeden bana neyi anlatacaksın? Kendinizi ne sanıyorsunuz? Kolmogorov karmaşası ve entropi konusunda ben zaten yeterince şey öğrendim fakat bunlar benim motivasyonumu tüketmedi daha efektif sonuçlar almamı sağladı. Siz siz olun bir şeyin olamayacağını yapılamayacağını söyleyenlere asla kulak asmayın. Belki insanlık tarihinin milyonda birini geride bıraktık. Bundan sonra neler olabileceğini ya da keşfedileceğini kim bilebilir?

"sıkıştırma algoritman o kadar iyiki çıktı boyutu orijinal boyuttan büyük oluyor bunu da LZ ile ekstra küçültmeye çalışıyorsun."

Defalarca yinelenebilen ve 1 kaç saniyede sonuç veren bir sıkıştırma algoritması için bu bir sorun değildir. Belirli sayıda yinelemeyi sağladığınızda oran çok ciddi artıyor. Elbette dosyanın boyutu artıncaya dek buna devam etmek gerekiyor. Bu tekrar sayısını kim bilebilir. İyi olmayan her algoritma başka algoritmalar ile sıkıştırılabiliyor fakat işlem süresi uzuyor. Böyle bir işlem süresi için çok ideal bir sıkıştırma oranıdır bu! 15 tekrarda hemen %87,5 oluverir.

Bana sıkıştırılamayacağı ile ilgili somut delil veremediğiniz sürece savım geçerli olacaktır.

Bu mesaja 1 cevap geldi.

G

Guest-4D62BFE91

6 yıl

Yüzbaşı

zor olanla imkansız olanı karıştırıyorsun. konuda geçmiş yazılarda somut kanıt var ilk sayfadan başla okumaya, buna rağmen anlamazsan ileri zekalı olduğundandır takma kafana.

Bu mesajda bahsedilenler: @ayhanarican

A

ayhanarican

6 yıl

Onbaşı

Ayrıca her dosyayı sıkıştırabileceğimi iddia etmiyorum. Frekans tablosu ortalama değere büyük uzaklıklar içeren dosyaları kesinlikle sıkıştırabilirim. Hem bununla 10 zip, rar, ya da 7zip dosyasından birini sıkıştırsam bu bile büyük başarıdır. Öyle değil mi?

Rastgele seçilen her N byte'ın %21'i asaldır. Sonra frekans tablosundaki her byte ın frekansı eşit olsa bile ki - bu mümkün değil - 10 / 256 = %4 de buradan gelecektir

Her 4 byte ın 1'ini 6 bite indirgeyebiliyorum ve haritada her 4 bitten 3'ü 0 ve 1'i 1 dolayısıyla sıkıştırılabilir, burada iki kere düşünüp, hesap yapıp bir kere yazın.

< Bu mesaj bu kişi tarafından değiştirildi ayhanarican -- 1 Ocak 2020; 23:23:14 >

O

owoselammicsuedcheck

6 yıl

Teğmen

Konudaki hiçbir şeyi okumadım ama sonsuz sıkıştırma imkansız diye biliyorum. Minimum entropi var bir veriyi max sikistirabilecegin ve kanıtı var bunun. Sonsuz değil ama belki optimal yolu bulmuş olabilirsin bakmak lazım.

< Bu ileti mobil sürüm kullanılarak atıldı > Bu mesaja 1 cevap geldi.

A

ayhanarican

6 yıl

Onbaşı

quote:

Orijinalden alıntı: owoselammicsuedcheck

Konudaki hiçbir şeyi okumadım ama sonsuz sıkıştırma imkansız diye biliyorum. Minimum entropi var bir veriyi max sikistirabilecegin ve kanıtı var bunun. Sonsuz değil ama belki optimal yolu bulmuş olabilirsin bakmak lazım.

Sonsuz kelimesini asla kullanmadım, defalarca, tekrar tekrar dedim evet fakat zaten oran çok düşük bu çok normal böyle bir çok algoritma var zaten. Oranı düşük fakat sıkıştırma tekrarlanabiliyor.

Compression(byte[] bytes) 
{
   BytelarınTekrarTablosunuYaniFrekansTablosunuOluştur();
   var repeatBytes = BuradanEnçokTekrarEdenAsalOlmayan10tanesiniÇek()
   var byteCount = DosyanınByteUzunluğunuGetir();
   var current = 0; 
   while(current < byteCount) 
   {
      var oneByte = DosyadanBirByteOku()
      var writingByte = 0;
      if(oneByte in repeatBytes) // En çok ekrar eden 10 byte dan biri mi?
      {
         // 54-63 arası indeksleri kullan
         writingByte = repeatBytes.IndexOf(oneByte) + 54; index maksimum 9 olabilir
         write6BitToBitStack(writingByte); // Dosyaya 6 bit olarak işle maksimum sayı 63 olabilir 
      }
      else if(ISPrime(oneByte)) // Sayı asal mı?
      {
        // 0-53 arası indeksleri kullan zaten 0-255 aralığında 54 asal sayı var.
        writingByte = PrimeIndex(oneByte); // Maksimum index 53 olabilir
        write6BitToBitStack(writingByte);  // Önce BitStack te tut en son kayıt edersin   
      }
      else {
        writingByte = oneByte;
        write8BitToBitStack(writingByte); // 8 bit olarak aynen kayıt et.
      }
      current++;
   }
   // Yalnızca bit haritası sıkıştırılacak. 
   // Stack e kayıt yaparken her 6bit kayıt edilirken 1 diğer durumda 0 olarak kayıt yapıldı
   // BitMap için Minumum %50 sıkıştırma oranı bekleniyor
   CalculateBitMapBytesAndCompress() // Using Huffman or LZ4
   
   Bitmap_in_Sıkıştırılmış_Boyutunu_Ençok_Tekrar_Eden_10_Byte_i_BitMap_i_BitStack_i_Dosyaya_Yaz(fileName+".ari") // Repeat Bytes only 10 bytes
}

Decompress i kendiniz hayal edin veri kaybı yok.

< Bu mesaj bu kişi tarafından değiştirildi ayhanarican -- 2 Ocak 2020; 1:27:53 >
Bu mesaja 1 cevap geldi.

T

Tuğkan-0153

6 yıl

Yarbay

Uzun uzun anlatmak yerine geliştirdiğin kodu GNU kodlama standartlarına uygun şekilde paketleyip yayınlamalısın.

program derlendiğinde oluşan binary ismi yenizip, format uzantısı .yz sıkıştırılacak örnek dosya adı da dizin.tar olsun, 2 temel opsiyonla (-c compress, -e extract) çalışması yeterli:

yenizip -c dizin.tar ==> dizin.tar.yz
yenizip -e dizin.tar.yz ==> dizin.tar

Herhangi bir sebepten (vakit yokluğu, motivasyon eksikliği, vs) yayınlayamıyorsan şöyle olur böyle olur diye anlatman gereksiz. sorunsuz derlenip deneyebileceğimiz birşey olmadığı sürece örnek / temsili kod vermen de gereksiz.

< Bu ileti mini sürüm kullanılarak atıldı > Bu mesaja 1 cevap geldi.

Bu mesajda bahsedilenler: @ayhanarican

A

ayhanarican

6 yıl

Onbaşı

quote:

Orijinalden alıntı: Tuğkan-0153

Uzun uzun anlatmak yerine geliştirdiğin kodu GNU kodlama standartlarına uygun şekilde paketleyip yayınlamalısın.

program derlendiğinde oluşan binary ismi yenizip, format uzantısı .yz sıkıştırılacak örnek dosya adı da dizin.tar olsun, 2 temel opsiyonla (-c compress, -e extract) çalışması yeterli:

yenizip -c dizin.tar ==> dizin.tar.yz
yenizip -e dizin.tar.yz ==> dizin.tar

Herhangi bir sebepten (vakit yokluğu, motivasyon eksikliği, vs) yayınlayamıyorsan şöyle olur böyle olur diye anlatman gereksiz. sorunsuz derlenip deneyebileceğimiz birşey olmadığı sürece örnek / temsili kod vermen de gereksiz.

Neden gereksiz? Yapmadan önce tartışmak neden gereksiz olsun? Belki yapmadan önce biri işe yaramayacağını matematiksel olarak kesin bir ifadeyle dile getirir ve boşuna uğraşmamış olurum. Neden yapmadan önce tartışmayalım? Bu yanlış mı?

Kormogolov diye bir deli bir kuyuya taş atar ve sonra 40 akıllı çıkaramaz. Yine entropi taşları da öyle, bu konuda fikri olduğunu söyleyip ürün verenler değil, olamayacağını ezberlerinden söyleyenler çatlak, pesimist ve düşük zekalıdır.

< Bu mesaj bu kişi tarafından değiştirildi ayhanarican -- 2 Ocak 2020; 1:46:15 >
Bu mesaja 1 cevap geldi.

S

Stack

6 yıl

Yüzbaşı

Eveeet, maalesef bir kere daha haklı çıkmış olduk. Arkadaş bırakın basit programlamayı daha Excel bile kullanamıyor. Çok basit bir şey istedik, uygulamalı göster ve çöz istedik. Utanmadan sıkılmadan daha cevap yetiştiriyor. Ulan deveninn kulağını yapamayan bize akıl vermeye kalkıyor, Matematikten bahsediyor

Bundan öncede senin gibi çok tombalağı tokatlamışlığım var. Komik duruma düştüğünün farkına varmayacak kadar ergensin o kadar.

"aşüfte" kelimesini excel de anlattığın şekilde uygula ve çöz bekliyoruz. O kadar da bilgisiz, beceriksiz olamazsın herhalde değil mi? Sonuçta ortaokul öğrencileri bile artık bu işlerle uğraşıyorlar.

Kolmogorov ve Entropi konularını da sayemde araştırıp biraz olsun bilgi sahibi olmuş olabilirsin ne güzel

Bu arada Köşelerini iyice zımparaladığın jetonu ne yaptığını da merak ettim

Bu mesaja 1 cevap geldi.

T

Tuğkan-0153

6 yıl

Yarbay

R.M. Stallman özgür yazılım en iyisidir diye tartıştı ama GCC, Emacs, Readline, gibi programlar yazdı ve özgür yazılım lisansı GPL ile dağıttı yani adam tartıştığı şeyi üretti ve insanlar tarafından denebilmesini sağladı. Şu anda Stallman o şeyi saatlerce tartışsa anlatsa dinlerim cunku adam onu üretti. Nitekim o yüzden Stallman'ı sevmeyen de GPL'ı eleştiren de, Stallman'ın tartışmalarını dinliyor. Adam birşey üretmeden tartışsaydı kimse dinlemezdi.

O yüzden sen de dediğin şeyi önce bir üret,insanlar denesin. Bunu yapmadan tartışıyorsun. Kimse dinlemez. Üzgünüm.

< Bu ileti mini sürüm kullanılarak atıldı >

Bu mesajda bahsedilenler: @ayhanarican

G

Guest-4D62BFE91

6 yıl

Yüzbaşı

bunun yazdığı algoritmayla "aşüfte" kelimesinden 3 bit kadar zarar ediyor 48 bitlik kelime 51 bit falan oluyor 51 biti dosyaya yazamayacağına göre daha uzun bir şey vermek gerek

burada harcadığı zamanla anlatmak istediğini rahatlıkla yazıp test edebilirdi, benim anlamadığım şey bu amaç ne?

Bu mesajda bahsedilenler: @Stack

G

Guest-4D62BFE91

6 yıl

Yüzbaşı

quote:

sonuça biraz daha yaklaştın
ama tam sayı veren noktada sıkışıp kalacaksın !
bende daha önce burada sıkışıp kalmıştım.

sorunun çözümünü buldum,
ama insanlık buna hazır mı veya hazırlıklı mı !?

bu algoritma formülünü bulan adam
aslında büyük patlamanın formülünü bulmuş gibi olacak

tek bir zerre tanesinde sonsuz sayıdaki galaksiye ulaşmanın kağıt üzerindeki formülü
sınırsız sıkıştırma alanı anlamına geliyor.

sırf harita kelimesini kullandığı için yazıyorum
çünkü algoritma harita olmadan hiç bir işe yaramıyor.

pi ile olayı çözmeye çalışmak, algoritmayı sınırlı donanımda kullanılmasına sebep olur.
harita sistemi doğru ama çözüm pi değil ! :)
çözümü aslında daha da basit :)

çalışmalar konusunda PM den özel mesaj atabilirseniz.
ortak çalışma noktasında bir şeyler yapabiliriz.

bak burada ne yazmışsın, gb larca verinin 1 bite düşmesinden bahsediyorsun. üç farklı film dosyasını birer bite düşürdün sonra nasıl açacaksın? vahiymi gelecek derken bunu kast ediyorum. zor olanla imkansız olanı karıştırıyorsunuz.

üstün zekanız karışmasın diye örnek olarak 1 biti verdim.

< Bu mesaj bu kişi tarafından değiştirildi Guest-4D62BFE91 -- 2 Ocak 2020; 13:59:1 >

Bu mesajda bahsedilenler: @SEO19

S

Stack

6 yıl

Yüzbaşı

Determinist; bu SEO19 bit ve byte gibi temel kavramları sürekli karıştırıyor. Lütfen üstüne fazla gitme

T

Tuğkan-0153

6 yıl

Yarbay

Aşureye döndü konu :)

< Bu ileti mini sürüm kullanılarak atıldı > Bu mesaja 1 cevap geldi.

T

Tuğkan-0153

6 yıl

Yarbay

'İmplementasyon' nedir bilir misin. Bir implementasyon ile gel, deneyelim.

xz, 7z, bz2, winrar 6, vs den daha etkili bir programı görelim. O durumda zaten senin cok anlatmana gerek kalmaz. Program kendi kendini anlatır (tekrar oldu :)

Bu şekilde programın kendisi olmadan anlatıp durursan bu iş alttaki gibi "sıfırdan OS geliştirdim" konularına benzer ve o konuları açanlar gibi zan altında kalırsın:

https://forum.donanimhaber.com/fegeyaos-sifirdan-gelistirilmis-isletim-sistemi--141346011
GecOS sıfırdan geliştirilen bir İşletim Sistemi
https://larsmalmsteen.github.io/

< Bu ileti mini sürüm kullanılarak atıldı >

Bu mesajda bahsedilenler: @SEO19

A

ayhanarican

6 yıl

Onbaşı

Bakın son yaptığım algoritmada text dosyalarında %85 oranında sonuç elde ediyorum.

< Resime gitmek için tıklayın >

Bir konuda çalışma yapan arkadaşlara çok iyi motivasyon kaynağısınız, tebrik ederim. Türkiye'de bu yüzden kimse bir şey yapmak, başarmak istemiyor. Başarmak daha kötü, çünkü başardıkça daha olumsuz eleştiriliyorsunuz.

Siz evinizde camış gibi yatıp bir şeyler yapanları eleştirin. Nasıl olsa dilin kemiği yok!

< Bu mesaj bu kişi tarafından değiştirildi ayhanarican -- 3 Ocak 2020; 18:45:54 >
Bu mesaja 2 cevap geldi.

T

Tuğkan-0153

6 yıl

Yarbay

Bu pek bişe ifade etmez cunku öncelikle sıkıştırılan dosya psps.txt içeriği belli değil.

İçinde sadece 1 olan 20MB'lık bir txt dosyasını %99.99 oranında sıkıştıran bir run-length encoding programını 5dk da yazabilirim (16 SLOC program)

Diyelim ki psps.txt normal bir dosya ve %85 oranında sıkıştırdı, extract ettiğinde aynı dosyayı elde ettiğini de gösterebilmen gerekli. Fakat tüm bunlara da gerek yok. WinRAR 6'yı yazan kişi hiç böyle şeyler yaptı mı? Hayır, WinRAR 6'yı yazdı ve piyasaya dağıttı ve su anda milyonlarca kişi kullanıyor. Budur.

< Bu ileti mini sürüm kullanılarak atıldı > Bu mesaja 1 cevap geldi.

Bu mesajda bahsedilenler: @ayhanarican

A

ayhanarican

6 yıl

Onbaşı

quote:

Orijinalden alıntı: ProjectMan

Bu mesaj silindi.

Aynen kıskandı biraz.

Seo sen de özelden yazıyorsun fakat kendi üyeliğini özel mesajlara kapatmışsın. Mesajım ulaşmayınca bunu kasıtlı yaptığını düşünüp arkadaşlığı sonlandırdım.

A

ayhanarican

6 yıl

Onbaşı

Gerçekten işe yarar bir sıkıştırma algoritması yapmayı planlıyorsanız ve sıkıştırma haritası kullanmadan bunu başarmak için tree yapılarını çok iyi öğrenmeniz gerekir. Aslına bakarsanız bir çok dosya formatı için yapabileceğiniz yüzlerce hatta binlerce sıkıştırma algoritması vardır. Bunlardan birini yapmaya çalışan birine hak etmediği kadar olumsuz yorum yazdınız.

Yaptığımız çalışma illa bilinenlerin en iyisi olmak zorundaymış gibi mesaj yazmayın. Elbette bu nihayi hedefimiz ancak bunu ilk seferinde başarmak o kadar kolay değil.

A

ayhanarican

6 yıl

Onbaşı

quote:

Orijinalden alıntı: Tuğkan-0153

Bu pek bişe ifade etmez cunku öncelikle sıkıştırılan dosya psps.txt içeriği belli değil.

İçinde sadece 1 olan 20MB'lık bir txt dosyasını %99.99 oranında sıkıştıran bir run-length encoding programını 5dk da yazabilirim (16 SLOC program)

Diyelim ki psps.txt normal bir dosya ve %85 oranında sıkıştırdı, extract ettiğinde aynı dosyayı elde ettiğini de gösterebilmen gerekli. Fakat tüm bunlara da gerek yok. WinRAR 6'yı yazan kişi hiç böyle şeyler yaptı mı? Hayır, WinRAR 6'yı yazdı ve piyasaya dağıttı ve su anda milyonlarca kişi kullanıyor. Budur.

Siz sıkıştırma oranını çok yanlış anlamışsınız. Bu oran compressedSize / orginalSize olarak hesaplanır.

Bahsettiğiniz dosya için %00.01 demeniz gerekirdi. Hadi yapın ve paylaşın.

1[#10#13]
1[#10#13]
1[#10#13]
.
.
.
1[#10#13]
1[#10#13]
1[#10#13]
[#0]

Text doyası 10 bin satır 1 içersin ve siz bir sıkıştırma algoritması yapıp %00.01 oranında sıkıştırın ben de alkış tutayım.

< Bu mesaj bu kişi tarafından değiştirildi ayhanarican -- 3 Ocak 2020; 20:8:26 >
Bu mesaja 1 cevap geldi.