Cevap: Histogram Based, Real Time Lossless Data Compression Algorithm λ∈[(ArgMax⇔>∀xω1)

6 yıl

Yüzbaşı

ileride olacak meraklanmayın vram miktarı dahada artsın sıkıştırma işlemleri ekran kartları ile mümkün hale gelicek sağlam bir kütüphane (10-20gb kadar vramde yer alacak hepsi) ile 2sembolün 1sembole paralel hesaplama ile indirildiği günler pek yakında hatta bu işlemin tekrarlanabildiğini düşünürsek sınırsız ve yapay zeka ile sıkıştırma mümkün?!?(badsector olayı çok tehlikeli oluyor fazla sıkıştırma yapıldığında)

Resimi ele alalım önce beyaz ve siyah renkler önceden sıkıştırmaya tabi olmalı(şuanki tekniklerle). Sonrasında 1.layerda, 1.pixel rengi #3c912f ve 2.pixel rengi #3a24b5 yanyana olursa başka bir renk türü atanabilir (#24b58e olsun). 2.Layera geçen program aynı kütüphane ile 1. ve 2. renkleri yine birleştirecek bunları yaparken tabiki paralel hesaplama şart oluyor. Videolarda resimlerden meydana geldiğini varsayarsak yeterli gücünüz varsa sınırsız sıkıştırma oluyor üstelik h265 ve h266 sıkıştırmalarından sonra bu sıkıştırma üzerine eklenebilir çünkü burada yapılan şey çok farklı. Gerekli olan 2 bilgi lazım sıkıştırma kaç layer kadar ve 2renk türünün yan yana geldiğinde başka bir renk türü veren kütüphane...

Veriyi geri açarkende tam tersi olacak 2.layerdaki tek renk 1.layera geçerken 2renk olarak açılacak 1.layerdaki renkte 0a(orjinal) geçerken 2renk olarak açılacak tekrar böylece resim tamamlanmış olacak

< Bu mesaj bu kişi tarafından değiştirildi ShadowWyvern -- 8 Ocak 2020; 9:50:42 >

G

Guest-4D62BFE91

5 yıl

Yüzbaşı

quote:

ilk mesaja bak işte, arapça rusça çince falan şeyler eklemiş

bunu yapmasındaki amaç ne ben de anlamış değilim

Bu mesajda bahsedilenler: @seyfi84

K

K110

5 yıl

Yüzbaşı

Algoritma dediğin formülü zaten konunun başlığı içinde yazmışsın. Neresini kimden saklayacaksın ?

Ben yarın Kaliforniya'ya uçuyorum ve anlaşabilirsek, formülünü 5.6 Milyar dolara Mikrosoft'a satacağım. Onlar almazsa Epıl'a giderim. Umarım yüzümü karaçıkarmazsın.

L

Lamperouge

5 yıl

Teğmen

Yalniz dusununce asiri mantikli bu

< Bu ileti mobil sürüm kullanılarak atıldı >

Bu mesajda bahsedilenler: @Tugrul_512bit

G

Guest-4D62BFE91

5 yıl

Yüzbaşı

Bilmediğin konularda neden bir şey biliyormuş gibi yazıyorsun? sonsuz sıkıştırma diye bir şey yok bunu önceki mesajlarımda kanıtıyla yazdım hala ısrar ediyorsun çünkü yazdıklarımı anlamıyorsun. Sayı tabanlarını değiştirerek bir yere varamazsın çünkü veriler yine 2lik sistemde aynı düzende kalır sadece görüntüyü değişirirsin.

"hexadecimal to decimal" o kadar saçma ki bilseydin kendi kendine gülerdin

< Bu mesaj bu kişi tarafından değiştirildi Guest-4D62BFE91 -- 22 Ekim 2020; 12:38:2 >

Bu mesajda bahsedilenler: @SEO19ProjectManager

D

DH Anonim

13 yıl

Yarbay

Konu Sahibi

Histogram Based, Real Time Lossless Data Compression Algorithm

only for silicon-based computers : λ∈[(ArgMax⇔>∀xω1)→(ArgMin⇔<∀xω9)]

only for quantum based computers : √λ≅X^Y∓Z

guidebook to understand formulas :https://en.wikipedia.org/wiki/Glossary_of_mathematical_symbols

if this formula has not been defined before; may not be limited under any license.
and humanity's common property.

DH forumlarında vakit geçirmekten keyif alıyor gibisin ancak giriş yapmadığını görüyoruz.

Üye olduğunda özel mesaj gönderebilir, beğendiğin konuları favorilerine ekleyip takibe alabilir ve daha önce gezdiğin konulara hızlıca erişebilirsin.

Üye Ol Şimdi Değil

Bir Daha Gösterme

< Bu mesaj bu kişi tarafından değiştirildi DH Anonim -- 22 Nisan 2022; 9:32:56 >

Bu mesajda bahsedilenler: @burak jr

G

Guest-BF8E9B238

9 yıl

Yarbay

Bu yöntemden verim almak için çok büyük sayılarla çalışmak zorundasın. 4 haneli sayılarla işlem yapmaya çalışmak beyhude çaba. Sayıların çok az bir kısmının karekökü tamsayı olacak, tamsayı olmayanlar üzerinde ekstra algoritmalar çalıştırıp sıkıştırılmış dosyaya fazladan bilgi yazman gerekecek. Kısaca küçük sayılarla uğraşmanın dosyayı sıkıştırmak yerine çok daha fazla büyüteceğini kesin olarak söyleyebilirim.

Kayar nokta burada devreye giriyor. Belli bir uzunlukta sayının karekökünü alıp noktalı sayı formunda yazabiliriz ama dosyayı açarken sayıyı kendisiyle çarparak ancak orjinal veriye yakın bir sayı elde edebiliriz, tam olarak aynı bit dizilimini almanın imkanı yok. Multimedya formatlarında işe yarayabilir belki.

G

Guest-BF8E9B238

9 yıl

Yarbay

Ooo sen çözmüşsün işi kanka. Hiç buralarda zaman kaybetme hemen çözümünü uygula, programını yaz ve milyoner olmanın tadını çıkar.

S

Stack

6 yıl

Yüzbaşı

quote:

Orijinalden alıntı: ProjectMan

Bu mesaj silindi.

Sen takmışsın bu işe ama akademik anlamda veri sıkıştırma konusunda çalışmadığım halde bilgi eksikliğin olduğunu rahatlıkla söyleyebilirim. Bu işin ispatı sadece programlama ile bitecek bir şey değil.
NAP (NESTED ADAPTIVE PREDICTION) dan bahsetmişsin. Burada da sınırsız bir sıkıştırma yok zannedersem. Aslında bu konuyu sıkıştırma konusunda ülkemizde çok ciddi çalışmaları bulunan ve bahsettiğin NESTED ADAPTIVE PREDICTION ı da geliştiren öğrencilerin hocasına (graphmode) özelden sorabilirsin. Bu forumda bazı paylaşımlarını gördüm. Muhtemelen bu konudaki en doğru bilgileri o verebilir.

T

Tuğkan-0153

6 yıl

Yarbay

algoritma ile uğraşmak güzel birşey fakat sıkıştırma algoritması artık gelişeceği kadar gelişti. zip, gzip, bz2, xz ... xz 'den 5% daha iyi sıkıştırma sağlayan algoritma tasarladın diyelim, onu implemente edip dağıtımını yapamadıktan sonra faydası yok, yani iş sadece tasarımla da bitmiyor, sıkıştırma işinde üretim de önemli, bak adam xz'yi geliştirmiş ama heryerde kullanılan implementasyonunu da üretmiş.

daha ilginc ve hala gelişme alanı olan ve gerçek hayatta işe yarayabilecek algoritmalarla ilgilenilmesi taraftarıyım.

Bu mesaja 1 cevap geldi.

S

Stack

6 yıl

Yüzbaşı

Sanırım yanlış anlaşıldı. "Bu konu" derken senin bahsettiğin karekök sıkıştırma konusunu kastetmiştim. Yani bu işin olup olmayacağını adam akıllı izah edebilir diye düşünüyorum. Böyle bir konuya cevap verir mi bilmem ama verirse en azından senin hayal kurup kurmadığını, zamanını boşa harcayıp harcamadığını topluca anlayabilir ve rahata kavuşabiliriz

< Bu mesaj bu kişi tarafından değiştirildi Stack -- 29 Mart 2019; 17:20:24 >

Bu mesajda bahsedilenler: @SEO-Uzmanı

C

Communist

6 yıl

Yüzbaşı

bir zamanlar bende gb lerce verinin kb lere kadar düşebileceğine inanıyordum üzerinde bir süre uğraştım sonra bunun mümkün olmayacağını anladım özel veri tipleri bir yere kadar sıkıştırılabilir ama %100 random olan bir veri tipine yapılacak fazla birşey yok.

örnek olarak iki haneli sayıyı tek haneye düşürmeye çalışırsak

ham verimiz 00 01 02 03..99 tek hane rakam en fazla 10 tanesini kapsayabilir

bitsel olarak 4 bit bir rakamı 3 bite bile düşürme şansımız yok birinde 16 diğerinde 8 kombinasyon var. tabiki bu kestirilemez veri tipleri için geçerli. zip, rar gibi uygulamaların ilk sıkıştırmadan sonra kestirilemezlik arttığı için 2. sıkıştırma işe yaramıyor.

C

Communist

6 yıl

Yüzbaşı

video ses gibi özel veri tipleri için bu formatlar hakkında bilgi edinmek lazım ama veri tipi özel değilse bunun çözümü malesef yok.

örnek olması için ufak bir kod yazdım bu kodu çalıştırın 1mb lik bir dosya oluşturacak sonra winrar ile sıkıştırmayı deneyin her seferinde farklı değerlere sahip dosya oluşacak ben birkaç sefer denedim çoğu zaman 1 bayt bile sıkıştırmadı.


int main(int argc, char *argv[])
{                        
   FILE *fp = fopen("dosya.tmp", "wb");
   if(!fp) return 0;
   char *buf = (char*)malloc(65536);
   for(int i=0;i<16;++i)
   {
      unsigned r = rand() * time(0);
      srand(r);
      Sleep((rand() * r) % 100);
      for(int k=0;k<65536;++k)
      {
         buf[k] = rand() % 256;
      }
      fwrite(buf,1,65536,fp);
   }
   free(buf);
   fclose(fp);
}

Bu mesaja 2 cevap geldi.

Bu mesajda bahsedilenler: @SEO-Uzmanı

S

Stack

6 yıl

Yüzbaşı

quote:

Orijinalden alıntı: seyfi84

Bu mesaj silindi.

İşte buna "EYVAH EYVAH" denir. Demek ki beterin de beteri varmış!
Sevgili SEYFO cum

Veri sıkıştırmada kullanılan ve sıkıştırma aşamasını gerçekleştiren (bit veya byte akışlarını sağlayan) algoritmalar zaten kayıpsızdır. Ör : Huffman, AC, PPMD, BWT...

Ancak veri kayıpları gerçekleşen aşamalar sadece "Quantization" ve diğer "Transformation" aşamalarında oluşur ve bunlarla veri sıkıştırılmaz, sadece gereksiz olanları istenen boyutlarda atılır. Sıkıştırma kısımları yine kayıpsız algoritmalarla gerçekleştirilir. İşte böyle durumlarda kayıplı "formatlar" meydana gelir.

Yani pinekleyen bir programcı olmasam da bu konuda yellenmek yerine daha sağlam şeyler yazabiliyorum naçizane. Konu ile alakalı lafın varsa buyur yoksa "Naş Naş" canım

S

Stack

6 yıl

Yüzbaşı

quote:

Orijinalden alıntı: Communist

video ses gibi özel veri tipleri için bu formatlar hakkında bilgi edinmek lazım ama veri tipi özel değilse bunun çözümü malesef yok.

örnek olması için ufak bir kod yazdım bu kodu çalıştırın 1mb lik bir dosya oluşturacak sonra winrar ile sıkıştırmayı deneyin her seferinde farklı değerlere sahip dosya oluşacak ben birkaç sefer denedim çoğu zaman 1 bayt bile sıkıştırmadı.
int main(int argc, char *argv[])
{                        
   FILE *fp = fopen("dosya.tmp", "wb");
   if(!fp) return 0;
   char *buf = (char*)malloc(65536);
   for(int i=0;i<16;++i)
   {
      unsigned r = rand() * time(0);
      srand(r);
      Sleep((rand() * r) % 100);
      for(int k=0;k<65536;++k)
      {
         buf[k] = rand() % 256;
      }
      fwrite(buf,1,65536,fp);
   }
   free(buf);
   fclose(fp);
}

Dostum Entropi denilen bir kavram var. Önce bu konuya bakarsan üzerinde çalıştığın şeyin neden gerçekleşmediğini anlayabilirsin.

Kayıplı veya kayıpsız olarak sıkıştırılmış veriler normal şartlarda daha fazla sıkıştırılamazlar. Ancak istisna olarak PAQ serisi algoritmalarında bu durum biraz istisna oluşturmaktadır. Bu serideki algoritmaların çalışma performansları anormal yavaştır. Sıralı şekilde bit değeri tahminine dayalı olarak çalışırlar. Ancak onlarda da bir limit var tabi ki.

Örnek linkleri vermek isterdim ama bazı "TİPLER" rahatsız oluyormuş maalesef. Şimdilik idare edin

Bu mesaja 1 cevap geldi.

C

Communist

6 yıl

Yüzbaşı

veri tiplerine göre çeşitli algoritmalar yazılır ama demek istediğim bunun sonu yok bir önceki mesajımda yazdığım gibi 4 bitlik bilinmeyen bir sayıyı 3 bite düşürmenin kesinliği yok verdiğim kodda 1 megabayt lık dosya rarlanınca 158 bayt daha büyük çıkıyor winrarın kafa bilgisi sanırım mevcut algoritmalar işe yaramayınca kafa bilgisini yazıp dosyayı kopyalıyor çünkü işlem yapamaya kalkarsa orijinal boyutundan daha büyük boyut çıkacak veri hakkında bilgiye sahipsek en uyumlu algoritma seçilir eğer bilinirlik oranı %0 olan veride işlem yaparsan veri boyutu kadar algoritma yazman gerekebilir ozamanda hangi algoritma kullanıldı bilgisiyle dosya boyutu daha büyük çıkacak

< Bu mesaj bu kişi tarafından değiştirildi Communist -- 23 Temmuz 2019; 0:18:29 >

Bu mesajda bahsedilenler: @Stack

C

Communist

6 yıl

Yüzbaşı

yapmak istediğin şey hem kayıpsız sıkıştırma hemde aynı işlemi defalarca aynı veriye uygulama eğer doğru anlamışsam (eskiden bende aynı şeyin olabileceğini düşünüyordum cahillik diyorum şimdi

) bunu yapmanın mümkünü yok. önceki mesajımda çok basit bir şekilde açıkladım toplamda 16 kombinasyon alabilen veriyi 8 kombinasyona düşürmenin mümkünü yok geriye kalan 8 kombinasyonu ne ile temsil edeceksin?

yapabileceğin şey veriyi analiz ettikden sonra yoğun bölgeye göre işlem yapmak aynı veriye 2. sefer işlem yaparsan işe yaramayacak çünkü 1. işlem yoğun bölgeyi zayıflatacak.

1mb lık dosyayı 10kb ye düşürdün diyelim 1mb de kaç kombinasyon var 10kb de kaç? yalnızca o dosyaya özel bir işlem olur 1mb lik dosyadaki kombinasyon değiştikçe çıktı boyutu büyür bir yerden sonra çıktı boyutu orijinal boyutu aşar.

< Bu mesaj bu kişi tarafından değiştirildi Communist -- 23 Temmuz 2019; 23:26:18 >
Bu mesaja 1 cevap geldi.

Bu mesajda bahsedilenler: @SEO-Uzmanı

C

Communist

6 yıl

Yüzbaşı

O nasıl oluyor? Yaz bakalım hemen onuda çürüteyim

< Bu ileti mobil sürüm kullanılarak atıldı >

Bu mesajda bahsedilenler: @SEO19

C

Communist

6 yıl

Yüzbaşı

quote:

Orijinalden alıntı: Communist

video ses gibi özel veri tipleri için bu formatlar hakkında bilgi edinmek lazım ama veri tipi özel değilse bunun çözümü malesef yok.

örnek olması için ufak bir kod yazdım bu kodu çalıştırın 1mb lik bir dosya oluşturacak sonra winrar ile sıkıştırmayı deneyin her seferinde farklı değerlere sahip dosya oluşacak ben birkaç sefer denedim çoğu zaman 1 bayt bile sıkıştırmadı.
int main(int argc, char *argv[])
{                        
   FILE *fp = fopen("dosya.tmp", "wb");
   if(!fp) return 0;
   char *buf = (char*)malloc(65536);
   for(int i=0;i<16;++i)
   {
      unsigned r = rand() * time(0);
      srand(r);
      Sleep((rand() * r) % 100);
      for(int k=0;k<65536;++k)
      {
         buf[k] = rand() % 256;
      }
      fwrite(buf,1,65536,fp);
   }
   free(buf);
   fclose(fp);
}

Hangi algoritma olursa olsun yukarıdaki kodu çalıştırıp oluşan 1mb lık dosyayı üst üste beş kere sıkıştırın her seferinde dosya boyutu küçülüyormu büyüyormu.

Paq8 ile denedim ilk sefer 100kb küçüldü sıkıştırdığım dosyayı tekrar denedim bu sefer 1kb büyüdü.

< Bu mesaj bu kişi tarafından değiştirildi Communist -- 3 Eylül 2019; 22:23:30 >

< Bu ileti mobil sürüm kullanılarak atıldı > Bu mesaja 1 cevap geldi.

Bu mesajda bahsedilenler: @SEO19 , @Stack

S

Stack

6 yıl

Yüzbaşı

Burada sonsuz sıkıştırmadan bahsetmiyoruz. Zaten öyle bir şey söz konusu değil, anlatmıştık. Ancak bahsi geçen algoritma kümesi çok yavaş çalışarak sıkışmış veriler üzerinde de etki gösterir diyoruz. Zaten öyle olduğunu da biliyoruz. Ancak PAQ8 en az 32 gb RAM li bir makinede bir kaç günlük çalışma sonunda tam olarak etkin kullanılabiliyor. O da her seferinde byte lar düzeyinde sıkıştırma yapabilmekte. Senin kullandığın şey muhtemelen çok daha standart parametrelerle elde edildi.

PAQ8 ile kullandığın parametreleri, işlem süresini ve RAM kullanımını gösteren bir görsel paylaşırsan sevinirim. Benim yaptığım denemelerde büyüme söz konusu olmamıştı.

Bu mesaja 1 cevap geldi.

Bu mesajda bahsedilenler: @Communist