Extreme compressie

Extreme compressie

Re: Extreme compressie

Berichtdoor Johan1951 » ma 12 dec 2011, 11:34

From: Renep

TLC schreef:
Extreme compressie met DNA :?

Dat is een algoritme met een referentietabel, vertelt het filmpje. Met een voldoende grote referentietabel kun je elk digitaal bestand met de Huffman-codering in 1 bit opslaan.
Avatar gebruiker
Johan1951
 
Berichten: 3752
Geregistreerd: di 31 aug 2010, 17:04

Re: Extreme compressie

Berichtdoor Johan1951 » ma 12 dec 2011, 11:37

From: TLC

Extreme compressie met DNA :?

http://youtu.be/ECj_pTDt-pA

... enzo ja, wat zijn de gevolgen (topic-follow)

Tom L. Corneis.
Renep schreef:
TLC schreef:
Extreme compressie met DNA :?

Dat is een algoritme met een referentietabel, vertelt het filmpje. Met een voldoende grote referentietabel kun je elk digitaal bestand met de Huffman-codering in 1 bit opslaan.

Heeft dat voordelen t.o.v. huidige compressie-technieken ?

http://jansloot.telcomsoft.nl/Forum/viewtopic.php?f=281&t=264

Op afbeelding is de tabel best groot ja.

Tom L. Corneis.
Avatar gebruiker
Johan1951
 
Berichten: 3752
Geregistreerd: di 31 aug 2010, 17:04

Re: Extreme compressie

Berichtdoor Johan1951 » ma 12 dec 2011, 11:41

From: Leftblank

TLC schreef:
Heeft dat voordelen t.o.v. huidige compressie-technieken ?

http://jansloot.telcomsoft.nl/Forum/viewtopic.php?f=281&t=264

Op afbeelding is de tabel best groot ja.

Tom L. Corneis.

Hoogstwaarschijnlijk? Absoluut geen. De methode die renep aanhaalt kun je zien als het doorsturen van een oneindig grote hoevelheid boeken waarin je alle informatie stopt. Als je deze boeken hebt verstuurd naar een ontvanger dan kun je door enkel het bladzijdenummer door te geven met enorme snelheid informatie opzoeken. Is dit dan ook echt compressie? Niet bepaald, die enorme set data moet je nu eenmaal eerst zien te delen voordat je hiervan profiteert.

Je kunt hier nog wel wat winst mee behalen wanneer je bijvoorbeeld data verstuurt die enige regelmaat kent. Wanneer je bijvoorbeeld als fictief voorbeeld elke dag teksten uit wetboeken overstuurt kun je bijvoorbeeld een bepaalde zin die regelmatig voorkomt voor versturen te vervangen door een afkorting en na ontvangen weer terug om te zetten. Huidige compressiemethoden werken door die afkortingen per keer opnieuw te berekenen waardoor zo'n eindeloze opzoektabel niet nodig is, wat al meteen suggereert dat de te behalen winst hiermee niet interessant genoeg is op deze manier.

De inefficiëntie hiervan kun je ook al een beetje zien op het aangehaalde bericht op telefomsoft.nl; om die set bestanden van pakweg 100MB in totaal te kunnen 'uitpakken' er is een 'DNA'-bestand van 771MB gebruikt, in principe is de "compressie" hiermee dus van 100 naar 771MB (de grootte van de sleutels is verwaarloosbaar), een toename van de totale grootte in plaats van een afname.

Nu kan je hiermee wellicht in gevallen waarop je veel enigszins regelmatige data moet versturen wel winst opleveren doordat je stukjes die regelmatig voorkomen als het ware kunt "afkorten" met
Avatar gebruiker
Johan1951
 
Berichten: 3752
Geregistreerd: di 31 aug 2010, 17:04

Re: Extreme compressie

Berichtdoor Johan1951 » ma 12 dec 2011, 11:44

From: Peter Bonjernoor

TLC schreef:
Op afbeelding is de tabel best groot ja.

Zelfs een stuk groter dan al die bestanden die er boven staan samen! :mrgreen:

Als dit supercompressie is, dan heeft de ANWB al jaren geleden heel Nederland extreem gecomprimeerd toen ze wegwijzers plaatsten op de Nederlandse wegen...

Edit, voor je geheugen:
TLC schreef:
Peter Bonjernoor schreef:
En wat is de relatie met het onderwerp van dit draadje?

Vandaar mijn vraag aan jullie, hoever zouden deze gevolgen gaan?

Klopt, je hebt gelijk... een afdwalertje ,misleid door de topic-header :oops:
Zal niet meer gebeuren :?
Avatar gebruiker
Johan1951
 
Berichten: 3752
Geregistreerd: di 31 aug 2010, 17:04

Re: Extreme compressie

Berichtdoor Johan1951 » ma 12 dec 2011, 11:46

From: Renep

TLC schreef:
Heeft dat voordelen t.o.v. huidige compressie-technieken ?

Het ís een huidige compressietechniek. Microsoft wil het zelfs toepassen voor dynamisch geheugenbeheer in Windows 8, las ik laatst (kopje "Memory combining").

Sinds de jaren 70 doen operating systems hun best om memory pages met identieke inhoud te combineren en pas fysieke kopieën te maken als een van de pages wordt gewijzigd (copy on write).

Zoiets kun je ook doen met de inhoud van bestanden. Je gaat op zoek naar meervoudig voorkomende blokken data en vervangt die door verwijzingen naar één exemplaar ervan in een referentietabel. Daar kun je spectaculaire demootjes mee maken, want een referentie is veel kleiner dan de data die het vervangt. Bij een niet-kritisch publiek kun je zelfs het element 'meervoudig' laten vallen en gewoon de inhoud van de bestanden in de referentietabel stoppen. Wel zo makkelijk. Je gecomprimeerde bestanden zijn dan piepklein (desgewenst past een bepaald bestand in 1 bit, maar 256 bytes klinkt spannender), maar je referentietabel is navenant groter.
Avatar gebruiker
Johan1951
 
Berichten: 3752
Geregistreerd: di 31 aug 2010, 17:04

Re: Extreme compressie

Berichtdoor Johan1951 » ma 12 dec 2011, 11:49

From: TLC

Edit, voor je geheugen:
http://youtu.be/ECj_pTDt-pA

... enzo ja, wat zijn de gevolgen (topic-follow)

Vandaar mijn vraag aan jullie, hoever zouden deze gevolgen gaan?

Memory ok !

Reacties van Leftblank & Renep geven meer mij meer diepgang/verheldering. :)

Groet TLC
Avatar gebruiker
Johan1951
 
Berichten: 3752
Geregistreerd: di 31 aug 2010, 17:04

Re: Extreme compressie

Berichtdoor Johan1951 » ma 12 dec 2011, 11:50

From: TLC

Renep schreef:
... de referentietabel stoppen. Wel zo makkelijk. Je gecomprimeerde bestanden zijn dan piepklein (desgewenst past een bepaald bestand in 1 bit, maar 256 bytes klinkt spannender), maar je referentietabel is navenant groter.

Als ik het in het forum goed gelezen heb dan is de minimale grootte 32 bytes maar 256 blijkt beter te zijn voor het tabel. Verder begrijp ik gelezen te hebben dat de tabel niet groter zou zijn 740mB. Hoeveel bestanden daarin zitten is me onduidelijk omdat het een snapshot betreft.

Bedankt voor je info.

Tom.
Avatar gebruiker
Johan1951
 
Berichten: 3752
Geregistreerd: di 31 aug 2010, 17:04

Re: Extreme compressie

Berichtdoor Johan1951 » ma 12 dec 2011, 11:52

From: Peter Bonjernoor

TLC schreef:
Memory ok !

Inzicht alleen niet. Dit is geen compressie, dit is codering. Net als "Hoofdstuk 1" verwijst naar 100 pagina's tekst. Hoe meer pagina's tekst, hoe kleiner de overlap met andere hoofdstukken (en films, en MP3's, etc.), en hoe dichter je bij 'unieke blokjes' van 1 byte komt, en dus een 'compressie' van 1:1.

Als je hier een serieuze discussie wilt hebben zul je mensen moeten overtuigen, en dat kan alleen door je algoritme te plaatsen. Zolang je dat niet doet zul je door de meesten als fantast nummertje zoveel worden weggezet.
Avatar gebruiker
Johan1951
 
Berichten: 3752
Geregistreerd: di 31 aug 2010, 17:04

Re: Extreme compressie

Berichtdoor Johan1951 » ma 12 dec 2011, 11:55

From: TLC

Peter Bonjernoor schreef:
TLC schreef:
Memory ok !

Inzicht alleen niet. Dit is geen compressie, dit is codering. Net als "Hoofdstuk 1" verwijst naar 100 pagina's tekst. Hoe meer pagina's tekst, hoe kleiner de overlap met andere hoofdstukken (en films, en MP3's, etc.), en hoe dichter je bij 'unieke blokjes' van 1 byte komt, en dus een 'compressie' van 1:1.

Als je hier een serieuze discussie wilt hebben zul je mensen moeten overtuigen, en dat kan alleen door je algoritme te plaatsen. Zolang je dat niet doet zul je door de meesten als fantast nummertje zoveel worden weggezet.

Schijnbaar heb je jou huiswerk niet goed gemaakt, lees wat ik schrijf/vraag :? (al de 2de keer)
It's him again :roll:

Btw: ~Auteur <> je <> doorgeslagen ;)

TLC
Avatar gebruiker
Johan1951
 
Berichten: 3752
Geregistreerd: di 31 aug 2010, 17:04

Re: Extreme compressie

Berichtdoor Johan1951 » ma 12 dec 2011, 11:56

From: Peter Bonjernoor

Ik heb gelezen wat je schrijft, en ik geef er mijn mening over, die jij vervolgens negeert omdat het niet is wat je wilt horen.

Nummertje zoveel, dus. Succes!
Avatar gebruiker
Johan1951
 
Berichten: 3752
Geregistreerd: di 31 aug 2010, 17:04

VorigeVolgende

Keer terug naar HigherLevel (1110)

cron