Het compressiegeheim van Jan Sloot ontrafeld

Het compressiegeheim van Jan Sloot ontrafeld

Re: Het compressiegeheim van Jan Sloot ontrafeld

Beitragvon Michael1954 » Sa 16 Okt 2010, 13:03

From: Toiletpaper

Vooral bij B-films heb ik dat gevoel ook.
Benutzeravatar
Michael1954
 
Beiträge: 3618
Registriert: So 22 Aug 2010, 16:39

Re: Het compressiegeheim van Jan Sloot ontrafeld

Beitragvon Michael1954 » Sa 16 Okt 2010, 13:04

From: Skizmo

Die blokken sloeg hij op in snelle geheugenchips, zodat het apparaat bij het comprimeren van films met blauwe lucht alleen maar een korte verwijzing dient op te slaan naar die beeldblokken.

Ja leuk .. maar dit is standaard compressie.

De titel van dit artikel is gelul. De claim van Jan sloot was dat hij een onbeperkt aantal uren audio en video terug kon indexeren naar een een indexsleuten van 1kb; dat is compleet onmogelijk.
Benutzeravatar
Michael1954
 
Beiträge: 3618
Registriert: So 22 Aug 2010, 16:39

Re: Het compressiegeheim van Jan Sloot ontrafeld

Beitragvon Michael1954 » Sa 16 Okt 2010, 13:06

From: Toiletpaper

Ja leuk .. maar dit is standaard compressie.

De beeldblokken staan buiten de film opgeslagen, dat is geen standaardcompressie. Ze kunnen eventueel gedeeld worden met andere films.
Benutzeravatar
Michael1954
 
Beiträge: 3618
Registriert: So 22 Aug 2010, 16:39

Re: Het compressiegeheim van Jan Sloot ontrafeld

Beitragvon Michael1954 » Sa 16 Okt 2010, 13:06

From: Skizmo

Dan nog is het idee achter blokken in een bibliotheek waarnaar via een jumptable verwezen kan worden standaard compressie. En het idee om deze biblotheek te sharen over meerdere gecomprimeerde files is is zeer waarschijnlijk nutteloos omdat je dan een bibliotheek van terabytes nodig hebt om een hitrate van een paar procent te krijgen. Als ik het goed heb, claimde Sloot dat zijn indexering gebeurde binnen 5 blokken van data die tesamen 478 mb waren.
Benutzeravatar
Michael1954
 
Beiträge: 3618
Registriert: So 22 Aug 2010, 16:39

Re: Het compressiegeheim van Jan Sloot ontrafeld

Beitragvon Michael1954 » Sa 16 Okt 2010, 13:08

From: Toiletpaper

En het idee om deze biblotheek te sharen over meerdere gecomprimeerde files is is zeer waarschijnlijk nutteloos.

Dat zegt Van der Pluim zelf ook, hij noemt het "moeilijk praktisch toepasbaar"

Toch blijft het een interessant idee, een gedistribueerd en geshared compressie algoritme. Ik ken geen enkel ander software product dat dit doet.

Toepassingen zijn inderdaad moeilijk denkbaar, maar stel je voor, een ideetje, een boek, woorden vervangen door een integer (dan kun je 4 miljard woorden opslaan in een 4 bytes integer)
Veel voorkomende woorden kun je in een twee of drie bytes integer opslaan.
Super veel voorkomende woorden in een byte (lidwoorden, voorzetsels).

(nul-bytes mogen niet gebruikt worden, die dienen om de woorden (1, 2, 3 of 4 bytes) te onderscheiden)

Hoeveel kleiner kan dan een boel zijn. Fors, denk ik.

Nu gebeurt het ook zo (maar nu draagt iedere zip zijn eigen lookuptable mee), maar als je 1 lookuptable hebt voor al je gecomprimeerde tekstfiles, dan kan dat op een terabyte archief toch heel veel geld besparen, daarnaast is de verwijzing database gestandaardiseerd, en vervangbaar bij verlies.
Als je een dergelijke lookuptable bij een OS uitlevert, kan Internet toch weer een stukje sneller.

Misschien is het een dom idee, Van der Pluim zei al dat een praktische toepassing moeilijk is, maar speel eens met de gedachte, interessant, er zijn vast betere ideeën.
Benutzeravatar
Michael1954
 
Beiträge: 3618
Registriert: So 22 Aug 2010, 16:39

Re: Het compressiegeheim van Jan Sloot ontrafeld

Beitragvon Michael1954 » Sa 16 Okt 2010, 13:09

From: Gnu_lx

woorden vervangen door een integer (dan kun je 4 miljard woorden opslaan in een 4 bytes integer)

Dan zou de index alleen al 4gb zijn en de database dus een veelvoud hiervan; lijkt me niet praktisch en zeker weten ontzettend traag. Daarnaast is het veel eenvoudiger om woorden te comprimeren doordat de meeste woorden kleine letters hebben en geen speciale tekens dus stel 5 bits (32) per character waarbij je nog waarde enkele waarden overhoud voor de punt komma en spatie en de rest van de waarde kun je gebruiken voor (nou ja dat bestaat allemaal al...). Voor boeken e.d. een kleine referentie tabel voor extreem veel voorkomende (lange) woorden in het betreffende document en je bent klaar.

Vergeet niet dat een processor ontzettend goed is in rekenen en dat opslag relatief traag is (cpu <- register <- geheugen <- harddisk); waardoor het opzoeken van woorden dus ontzettend "duur" is.

Compressie door een algemene database van veel voorkomende blokken lijkt mij niet haalbaar en zeker niet efficiënt; blokken die veel voorkomen zullen veel efficiënter gecomprimeerd kunnen worden door vlakken blauw te berekenen en niet door de verwijzing naar standaard blokken; iets wat goed geïllustreerd word door jouw voorbeeld. En waarschijnlijk is dit voorbeeld nog beter haalbaar dan voor het complexere medium, film.
Benutzeravatar
Michael1954
 
Beiträge: 3618
Registriert: So 22 Aug 2010, 16:39

Re: Het compressiegeheim van Jan Sloot ontrafeld

Beitragvon Michael1954 » Sa 16 Okt 2010, 13:11

From: Toiletpaper

Vergeet niet dat een processor ontzettend goed is in rekenen en dat opslag relatief traag is (cpu <- register <- geheugen <- harddisk); waardoor het opzoeken van woorden dus ontzettend "duur" is.

Lijkt mij niet, de lookup-integers kunnen als adres dienen waar hashes staan, het kan dan met hashtables gaan, daar worden de adressen berekend. Dit zou kunnen voor de 1 en 2 bytes waarden
De 3 en 4 bytes waarden zouden via zuivere btree's kunnen.
B-Trees zijn de snelste methode om iets te vinden, zeker voor grotere databanken. Ze hebben als nadeel dat inserts langzaam zijn, omdat dan de tree deels opnieuw moet worden gebouwd
Maar in deze databank vinden geen inserts plaats.
Je kan het dus niet met gewone databases vergelijken.

Waarschijnlijk zijn er nog andere optimalisaties mogelijk.
Benutzeravatar
Michael1954
 
Beiträge: 3618
Registriert: So 22 Aug 2010, 16:39

Re: Het compressiegeheim van Jan Sloot ontrafeld

Beitragvon Michael1954 » Sa 16 Okt 2010, 13:11

From: Gnu_lx

Dat je voor het opzoeken de beste methode gebruikt begrijp ik maar dat doet niet onder voor het feit dat het zoeken op een database zeer traag is in verhouding met de "brute" rekenkracht van een processor. En voor het behoud van kwaliteit en behalen van grote compressie verhouding ga ik er van uit dat de database zeer groot moet zijn; Anders zouden in veel films dezelfde patronen moeten zitten en zou je deze via andere methode (formules) kunnen opslaan.

De hele methode lijkt ook het probleem te verschuiven; de download lijkt klein maar eigenlijk heb je de data al via een ander medium gedistribueerd. Veel kans is dat in deze referentie tabel ontzettend veel overhead zit wat je nooit gebruikt dus ook zonde van de opslag.

maar zoals je al begrepen hebt geloof ik ook niets van dit verhaal en het feit dat het geen theorie was maar dat er ook een prototype van was bewijst voor mij dat het allemaal om het geld te doen was, anders was er ook na zijn dood wel informatie gevonden. Dat de aarde rond is ipv. plat is gewoon te bewijzen, maar iemand die iets claimt en waar vervolgens geen enkel bewijs van is terug te vinden is voor mij gewoon een broodje aap (in sommige landen een delicatesse).
Benutzeravatar
Michael1954
 
Beiträge: 3618
Registriert: So 22 Aug 2010, 16:39

Re: Het compressiegeheim van Jan Sloot ontrafeld

Beitragvon Michael1954 » Sa 16 Okt 2010, 13:13

From: Toiletpaper

Anders zouden in veel films dezelfde patronen moeten zitten en zou je deze via andere methode (formules) kunnen opslaan.

In mijn voorbeeld was er sprake van tekst.
Benutzeravatar
Michael1954
 
Beiträge: 3618
Registriert: So 22 Aug 2010, 16:39

Re: Het compressiegeheim van Jan Sloot ontrafeld

Beitragvon Michael1954 » Sa 16 Okt 2010, 13:13

From: Toiletpaper

maar zoals je al begrepen hebt geloof ik ook niets van dit verhaal

Iets wel geloven of iets niet geloven si in feite hetzelfde, het blijft een vorm van geloven. Dat is wat ik de hele tijd wil zeggen, terwijl je ook open kunt staan voor ideeën en daar je voordeel uithalen, zoals Pluim ook zegt, het is een idee wat hij heeft, maar moeilijk praktisch toepasbaar, daar kun je over nadenken, in plaats van je met geloof bezig te houden, dan kun je dat voor op de zondag reserveren.
Benutzeravatar
Michael1954
 
Beiträge: 3618
Registriert: So 22 Aug 2010, 16:39

VorherigeNächste

Zurück zu WebWereld (0808)

cron