Extreme compressie

Extreme compressie

Re: Extreme compressie

Notapor Johan1951 » Mié 02 Feb 2011, 21:37

From: Jaap Haagmans

Maar het kan toch twee kanten op werken? De compressiewetenschap voor de consument heeft lang stilgestaan, want tot op heden zippen en tarren we er nog steeds lustig op los. Dat deed ik 1994 ook al! Als zowel compressiemethoden als opslagmogelijkheden verbeteren zijn de mogelijkheden eindeloos.
Avatar de Usuario
Johan1951
 
Mensajes: 3752
Registrado: Mar 31 Ago 2010, 17:04

Re: Extreme compressie

Notapor Johan1951 » Lun 07 Feb 2011, 18:48

From: Frans Sijtsma

Koos Pol schreef:
Kennelijk heb ik een plankje voor het hoofdje, want ik zie het nog steeds niet ;) Met de huidige snelheid van ontwikkeling heb jij over een paar jaar ook je hele serverrack op een usb stick. Laatste opmerking van mijn kant: Goedkopere bandbreedte is zakelijk handig als de bandbreedte heel duur is. Bijvoorbeeld satelliet communicatie. Als je van een weersatelliet (of een keyhole satelliet, nog leuker) meer en sneller en betere foto's kunt trekken, heb je wel een goeie business case lijkt me.

De ontwikkeling van de opslagcapaciteit van harde schijven gaat nog altijd sneller dan de ontwikkeling van de snelheid van dataverkeer. Onze opslagwoede ook trouwens aangezien we meer en meer bewaren

Het draaien van een backup naar een online server zal dus steeds langer gaan duren om maar een voorbeeld te noemen

Alleen al om die reden zou een betere compressietechniek winst zijn.

In zijn algemeenheid: Voor een (al dan niet revolutionaire) verbetering van een goed bestaand product is altijd een markt
Avatar de Usuario
Johan1951
 
Mensajes: 3752
Registrado: Mar 31 Ago 2010, 17:04

Re: Extreme compressie

Notapor Johan1951 » Vie 11 Feb 2011, 19:36

From: Jaap Haagmans

De downloadwereld zal je ook meer dan dankbaar zijn (al weet ik niet of dat een doel moet zijn). Bedenk je eens dat je een stevige DVD9 in een minuut van een nieuwsgroep af trekt! Begrijp me niet verkeerd, ik ben fel tegen illegaal downloaden (geloof je me niet, dan nodig ik je uit voor een kijkje in onze thuisvideotheek), maar downloaden is lang niet altijd illegaal natuurlijk!
Avatar de Usuario
Johan1951
 
Mensajes: 3752
Registrado: Mar 31 Ago 2010, 17:04

Re: Extreme compressie

Notapor Johan1951 » Vie 11 Feb 2011, 19:37

From: Hans van Nijnatten

Niet gehinderd door enige kennis van zaken.....

Vraag ook ik me af wat het nut van een zeer hoge compressie is. Toen geheugen schaars was kon je dat plobleem oplossen door een 2e harde schijf of partitie te comprimeren. Denk dat het nu ook nog kan. Alleen niemand doet/deed het omdat het ten koste van de snelheid gaat/ging.

Extreme compressie en decompressie kost dus tijd en nog meer tijd om de ontstane ruis te corrigeren. Hoeveel tijd is afhankelijk van de processor en andere processen in een computer. De zwakste schakel bepaald uiteindelijk de snelheid.

Zolang we gebrek aan capaciteit kunnen oplossen door grotere en snellere schijven of ST disks en steeds sneller Internetverbindingen is en blijft extreme compressie het paard achter de wagen.

Of zie ik iets fundamenteels over het hoofd?
Avatar de Usuario
Johan1951
 
Mensajes: 3752
Registrado: Mar 31 Ago 2010, 17:04

Re: Extreme compressie

Notapor Johan1951 » Vie 11 Feb 2011, 19:37

From: Jaap Haagmans

Dat denk ik wel ja. Het gaat niet alleen om storage en het gaat niet alleen om HDD's. Er worden tegenwoordig games ontwikkeld die met moeite op 2 Bluray disks passen. Je ziet dat de limitaties daar gewoon weer de kop op steken. Ook bij downloaden en (voornamelijk) uploaden heb je dat probleem. Het is natuurlijk afhankelijk van de benodigde rekenkracht, ruis is natuurlijk niet van toepassing als het om compressie gaat. Ruis is een probleem uit het analoge tijdperk.

Als de compressie relatief snel gaat zijn er allerlei toepassingen denkbaar waarbij het een belangrijke verbetering zou kunnen betekenen. Wellicht niet op de HDD, maar toch zeker wel in het transport en op de kleinere media als USB-sticks en BluRay.

Nogmaals, het kan twee kanten op werken. Als de compressiemethode goed werkt komen er straks allerlei mogelijkheden aan het licht waar we nog nooit aan gedacht hadden.
Avatar de Usuario
Johan1951
 
Mensajes: 3752
Registrado: Mar 31 Ago 2010, 17:04

Re: Extreme compressie

Notapor Johan1951 » Vie 11 Feb 2011, 19:38

From: Hans van Nijnatten

Bedankt Jaap. Maar ik zit nog steeds met de zelfde vragen.

Met ruis bedoel ik digitale ruis. Bij compressie zullen foutjes ontstaan die achteraf moeten worden gecorrigeerd, ik begrijp dat dat weer afhankelijk is van de methode. Moest daarbij denken aan PAR2 bestanden die de gaten in RAR bestanden kan dichten hoewel die volgens mij niet perse de compressie corrigeert maar ook de data overdracht van en naar de server.

Meer principieel is de snelheidsvraag. Hogere compressie betekent normaal gesproken meer rekenwerk. Tenzij je met een heel inventieve methode komt waar niemand ooit aan heeft gedacht. Een die veel sneller is en het resultaat compacter. Volgens mij heb ik alleen gelezen over een compacter resultaat.

Dat toepassingen vanzelf ontstaan met het ontstaan van (betaalbare) onderliggende techniek is natuurlijk helemaal waar.
Avatar de Usuario
Johan1951
 
Mensajes: 3752
Registrado: Mar 31 Ago 2010, 17:04

Re: Extreme compressie

Notapor Johan1951 » Vie 11 Feb 2011, 19:39

From: Nico Schouten

Ik herinner mij uit een grijs verleden (jaren 80?) dat men toen dacht dat fractals mogelijk de sleutel waren tot compressie.
Als ik het mij goed herinner dacht men in de fractals een soort van natuurlijk algoritme te hebben gevonden waardoor het bijvoorbeeld mogelijk zou worden om van low res images gedetailleerde high res images te maken. Dat gaat dus verder dan compressie!!

Wie weet zijn er wel natuurlijke bronnen die door combinatie veel overeenkomsten hebben met datastromen.
Avatar de Usuario
Johan1951
 
Mensajes: 3752
Registrado: Mar 31 Ago 2010, 17:04

Re: Extreme compressie

Notapor Johan1951 » Vie 11 Feb 2011, 19:41

From: Pjvdmeer

Hans slaat de spijker op zijn kop: extreme compressie komt tegen een prijs, en die prijs is tijd en rekenkracht.

Er is al aangegeven dat het gaat om een codering, of database techniek. De code geeft aan welk item uit de database moet worden gekozen. Deze techniek is overigens niet nieuw, maar werd vroeger Vector-codering genoemd. Uiteindelijk bleek deze techniek voor Video niet toereikend, en toen was er nog niet eens sprake van een wens tot streaming.

Fractals, Nico, zijn in de Video compressie in de jaren 90 toegepast, maar niet verder gekomen dan de experimentele fase. Een fractal neemt een deel van het beeld, draait, verkleurt, en verkleint dat om een ander deel van het beeld op te bouwen. Die transformatie sla je op (in plaats van het originele beeld). In een aantal iteraties (waarbij ieder deel van het beeld zichzelf opbouwt) komt dan het origineel terug. Grote voordeel van Fractals: je kon een beeld oneindig uitvergroten zonder de pixels te gaan zien. Maar wat je wel zag waren vreemde structuren die niet in het origineel zaten.

Fractals waren zeer interessant, maar hadden veel rekenkracht nodig, en leverden geen betere compressie.

Andere destijds veelbelovende technieken waren contourcodering, model-codering (had je wel voorkennis nodig dat de beelden bijvoorbeeld gezichten bevatten), etcetera. Allemaal zeer rekenintensief. Hierdoor is tot de dag van vandaag de veel praktischer DCT-codering (Discrete Cosinus Transformatie, en transformatie naar het frequentie domein) de defacto standaard geworden.

Zo, heb ik toch nog wat aan mijn studie en promotie-onderzoek gehad... ;)
Avatar de Usuario
Johan1951
 
Mensajes: 3752
Registrado: Mar 31 Ago 2010, 17:04

Re: Extreme compressie

Notapor Johan1951 » Vie 11 Feb 2011, 19:43

From: Jaap Haagmans

Hans van Nijnatten schreef:
Met ruis bedoel ik digitale ruis. Bij compressie zullen foutjes ontstaan die achteraf moeten worden gecorrigeerd, ik begrijp dat dat weer afhankelijk is van de methode. Moest daarbij denken aan PAR2 bestanden die de gaten in RAR bestanden kan dichten hoewel die volgens mij niet perse de compressie corrigeert maar ook de data overdracht van en naar de server.

Dat heeft niets met compressie an sich te maken, maar met de manier waarop nieuwsgroepen werken. Digitale ruis bestaat niet, een bestand kan wel kapot gaan doordat er ergens een 1 in een 0 verandert. Het effect daarvan is te merken doordat je versleuteling niet meer overeenkomst en het bestand niet meer functioneert. Extreme compressie zal dat probleem echter juist tegengaan doordat de transactiemogelijkheden voor grote bestanden toenemen. Ouderwetse transactiemethoden als nieuwsgroepen worden daardoor achterhaald. Bij verzenden over TCP/IP is de kans dat een bestand corrupt overkomt zo klein dat hij verwaarloosbaar is.

Let wel: we hebben het hier over de vraag of vooruitgang in compressie gewenst is. Kortom, daar hoort ook bij dat de compressie- en decompressiemethoden verbeteren en dat hoeft dus niet enkel merkbaar te zijn in de grootte van het resultaat, maar ook in de snelheid van (de)compressie e.d.
Meer principieel is de snelheidsvraag. Hogere compressie betekent normaal gesproken meer rekenwerk. Tenzij je met een heel inventieve methode komt waar niemand ooit aan heeft gedacht. Een die veel sneller is en het resultaat compacter. Volgens mij heb ik alleen gelezen over een compacter resultaat.

We hebben het inmiddels over vooruitgang in compressie in het algemeen. Er zijn hier mensen die beweren dat daar geen tijd in gestoken zou moeten worden en ik ben het daar niet mee eens. ZIP is tegenwoordig eigenlijk een enorm achterhaald principe, maar men gebruikt het nog steeds omdat er in de consumentenmarkt geen aandacht wordt besteed aan betere mogelijkheden. Ik moedig de TS dus alleen maar aan hiermee vooral door te gaan!
Avatar de Usuario
Johan1951
 
Mensajes: 3752
Registrado: Mar 31 Ago 2010, 17:04

Re: Extreme compressie

Notapor Johan1951 » Vie 11 Feb 2011, 19:44

From: Ikkrijg

Waarom maak je je druk om de gevolgen?

Je moet je idee zien te patenteren, daar zou ik me druk om maken.
Avatar de Usuario
Johan1951
 
Mensajes: 3752
Registrado: Mar 31 Ago 2010, 17:04

AnteriorSiguiente

Volver a HigherLevel (1110)

cron