Harddisk opname problemen opgelost

[Yo!]

Even iets heel anders (maar natuurlijk wel gerelateerd): zoals ik al eerder zei ben ik voorlopig over naar een Windows server met CIFS om mijn problemen te omzeilen. Wat mij echter opvalt is dat de netwerk performance ook niet echt heel goed is. Ik bedoel, we weten allemaal dat die 100MB nooit gehaald worden, maar vroegah....

 

Vroeger had ik 2 dreamboxen met de 107.4 software. 1 daarvan had een harddisk en ik draaide daar een NFS server op. Ik kon zo op de andere dreambox ook opnemen en afspelen. Zelfs timeshiften ging perfect op beide dreamboxen.

 

Nu (met de 108.x firmware) heb ik de harddisk eruit gehaald en doe ik alles via een file server. Opnemen gaat nu perfect, ook op 2 boxen tegelijk maar timeshiften gaat eigenlijk helemaal niet meer. Terwijl de fileserver echt stukken sneller is dan de dreambox NFS server van vroeger. Dus daar ligt het niet aan. Ik kan prima op de ene dreambox opnemen en alvast op de andere dreambox kijken, maar dus niet echt timeshiften op 1 box. Als ik dat toch even doe en ik kijk vervolgens met ifconfig naar de statistics dan zie ik dat de overruns hard oplopen.

 

Ik begin te denken dat er niet alleen performance problemen zijn met harddisken maar meer in z'n algemeenheid met die 108 software en/of 2.6.x kernel... <img src="/ubbthreads/images/graemlins/biggthumpdown.gif" alt="" />

 

Als ik dit zo teruglees was een aparte thread misschien handiger geweest. Dus neem dit maar gewoon even ter info aan. Misschien helpt het ook wel bij het oplossen van het harddisk probleem....

 

Groet, Yo!

[Tonskidutch]

ik controleer wel eens met capsa professional de zaak (werkgerelateerd) en test dus ook thuis, om capsa beter te leren kennen, wat mijn LANnie doet.. of wel <img src="/ubbthreads/images/graemlins/smile.gif" alt="" />

 

maar ook het makkelijker verkrijgbaar Hyena programmaatje zal een en ander mbt NFS en de throughput vastleggen.

 

toch moet je wel weten dat er file servers en file servers zijn.. die we zelf in elkaar knopen en die multitasking/mutlithreading zijn..

 

op een filesysteem meerdere grote bestanden lezen en schrijven betekend minstens 64 MB cache.. op de disk controler (novell+compac)

 

cheers

[dAF2000]

Citaat:

cat /proc/ide/ide0/hda/settings
using dma 1 0 1 rw

Je hebt DMA dus (eerste getal)

Citaat:

tT /dev/ide/host0/bus0/target0/lun0/disc
-sh: cannot create hdparm: Read-only file system

Wat doe je hier nu? Ziet er eng uit <img src="/ubbthreads/images/graemlins/smile.gif" alt="" /> hdparm -tT /dev/... natuurlijk.

Nog een toevoeging: Net een Nederland 3 programma opgenomen met newcamd en AU=yes en timeshifting. Geen probleem! <img src="/ubbthreads/images/graemlins/xyxthumbs.gif" alt="" />
Ik moet nu echt voorzichtig zijn. Voordat je 't weet heb ik weer problemen en lag 't aan iets anders. Maar ik vind die "AU=yes" wel iets zeggen...

[Tonskidutch]

Citaat:

Wat doe je hier nu? Ziet er eng uit <img src="/ubbthreads/images/graemlins/smile.gif" alt="" /> hdparm -tT /dev/... natuurlijk.

<img src="/ubbthreads/images/graemlins/grin.gif" alt="" /> ja ik sul / te lui om te typen kopieer ik eagledream's command prompt en plak hem in dcc telnet..

natuurlijk 46.03 en 14.65 MB/sec

cheers

[Eagledream]

dAF2000, Yo!, tonskidutch en alle anderen.

 

Citaat:

Eerst het belangrijkste nieuws dan maar:

 

Met hdparm -m16 -c3 -u1 /dev/ide/host0/bus0/target0/lun0/disc en radegast beta13 en de evil SV1604N harddisk heb ik Sesamstraat opgenomen op een echte Hydra Zeus (geen andere kernel enzo). En ik had totaal geen haperingen! Heb ik nou gewoon geluk gehad, of werkt dit echt (voor mij)?

 

 

Klopt, is ook mijn ervaring, ik heb ook niet voor niets gewezen op de newcamd met al zijn ingebouwde decoderingen.

Met Radegast beta 13 geen enkel probleem voor wat betreft haperen en stotteren.

 

Citaat:

Probeer eens -c1 ipv -c3. Dit zou zelfs een nog betere performance geven.

 

 

Natuurlijk, even black outje gehad, werkt perfect met -c1.

 

 

Citaat:

tonskidutch:

en niet alleen ik maak mooie opnames met de zeus en de - 1.08.2 kernel (2.6.9-rc1) erin, maar honderden dreambox bezitters naast mij.

 

 

Is juist, ook ik heb hier goede opnames mee gemaakt, echter net zo belangrijk is dat ik herhaaldelijk vastlopers, crashes in alle mogelijke vormen heb gehad. Daar baal je goed van als je aan het kijken bent. En dat allemaal met 2.6 kernels.

Zelfs Hydra zeus direct in flash gaf deze ellende.

Ik weet zeker dat het niet aan de flash technieken ligt.

Met kernel 2.4.20 in flash, no problems. <img src="/ubbthreads/images/graemlins/xyxthumbs.gif" alt="" />

 

 

Citaat:

Probeer dit eens: cat /proc/ide/ide0/hda/settings (Hydra Zeus). Daar heb ik netjes de using_dma bij staan.

 

 

Klopt, staat er bij mij ook bij. Waar nou dat ontbreken van die dma output door verklaard kan worden, is mij nog steeds onduidelijk.

Zeker gezien het feit dat het in alle beschreven gevallen om redelijk recente harddisks gaat.

Vooral oudere niet multi media geschikte harddisks hadden veel last van stotteren in pc's door hun methode van regelmatige kopcalibratie als gevolg van temperatuurinvloed.

De recentere harddisks doen dit anders en hebben er geen last van.

 

Wel is mij opgevallen dat de type aanduidingen van Samsung disks, die hier genoemd zijn, veel lijkt op de IBM disks van ongeveer 3,5 jaar geleden. IBM disks, weet ik uit eigen ervaring, werkten volgens de oude methode van kopcalibratie en daardoor onderbreking van ide en data stromen.

Tijdens zo'n kopcalibratie stokte alles.

Model nr van deze IBM schijven 60 Gb was: IC35L060AVER07-0

Type IBM Deskstar.

 

Succes! <img src="/ubbthreads/images/graemlins/xyxthumbs.gif" alt="" />

[Eagledream]

Citaat:

Wel is mij opgevallen dat de type aanduidingen van Samsung disks, die hier genoemd zijn, veel lijkt op de IBM disks van ongeveer 3,5 jaar geleden. IBM disks, weet ik uit eigen ervaring, werkten volgens de oude methode van kopcalibratie en daardoor onderbreking van ide en data stromen.

Tijdens zo'n kopcalibratie stokte alles.

Model nr van deze IBM schijven 60 Gb was: IC35L060AVER07-0

Type IBM Deskstar.

 

Sorry, slaat niet op Samsung disks, de aanduiding kwam uit jouw metingen tussen kernel 2.4 en 2.6 met hdparm. <img src="/ubbthreads/images/graemlins/loldev.gif" alt="" />

 

Deze thread begint langzamerhand onduidelijk en verwarrend te worden.

 

Yo!,kun je vertellen welk merk en type jouw hdd is ?

Waarschijnlijk IBM?

Gebruik je USB en zo ja, in welke vorm?

 

Groeten

[Yo!]

Citaat:

Yo!,kun je vertellen welk merk en type jouw hdd is ?

IBM 120GB, type IC35L120AVV207

Citaat:

Waarschijnlijk IBM?

Inderdaad.

Citaat:

Gebruik je USB en zo ja, in welke vorm?

Ja, er zit een USB stick in. Staat een swapfile op, verder niets. Maar met of zonder stick heb ik al geprobeerd, maakt geen enkel verschil. En die swapfile lijkt ook niet echt nodig, tenzij je reiserfs gebruikt.

Groet, Yo!

[Erik Slagter]

Citaat:

Zo is te zien dat in 1.07.4 images de snelheid zo'n 50% hoger ligt.

Van de harddisk, neem ik aan. Kun je dit hard maken?

Citaat:

Ik heb met een 1.07.4 image met newcamd en AU=on (!) zelfs probleemloze opnames gemaakt van Sesamstraat.

Dus 2.4 kernel.

Citaat:

Ik heb ook getest met twee andere harddisken, een behoorlijke snelle en eentje van 3 jaar oud. In alle gevallen bleef de snelheid hetzelfde. De beperking zit namelijk in de IDE-drivers die helaas onder beheer van Dream zijn.

De uiteindelijke beperking zit in de UDMA bus, de bus tussen de UDMA bus en de processor (on-chip) en de processor zelf. Heel hoog zul je nooit komen met een 350 mips processor, dan kunnen ze drivers nog zo goed zijn...

Citaat:

Ik snap wel dat jij problemen hebt met opnames ookal staan de harddisken op UDMA5. De beperking zit namelijk in je NFS dat een stuk langzamer is dan de harddisk.

Ja, dat is nogal logisch ja. Via het netwerk haal je "maar" 30-40 Mbits/s. Nog altijd voldoende om je Sesamstraat op te nemen. Wat ik wil zeggen is dat het dus niet aan de harddisk ligt omdat je via NFS er OOK last van hebt.

Citaat:

Een ander interessant punt is, is dat Sesamstraat regelmatig 9,8 MB/s haalt (hier gelezen, en na navraag goed gemeten). Die snelheid zit nu net zo op dezelfde waarde als de harddisk-snelheid. Dat lijkt me niet toevallig.

Effe goed kijken. Snelheid van harddisks wordt gemeten in megaBYTES per seconde, van een transport stream in megaBITS per seconde. Dus dat kan makkelijk.

[Erik Slagter]

Citaat:

Grotere IDE HD's over het algemeen niet (160G 200G en 250G)
IDE drives zitten bijna rechtstreeks op de bus van de CPU, en hebben vrij veel invloed op het claimen van de IDE bus, en het vrijgeven daar van.
Als je als hard disk fabrikant je concurrentie voor wil blijven zijn, wil je de peformance (throughput) zo goed mogelijk krijgen.
Als je de IDE bus langer claimt, en meer data in een keer er doorheen jaagt, is je performance meestal beter.

De harddisk kan via ATA geen bus "claimen". Dat kan hooguit de host interface, bijvoorbeeld een PCI ATA (los of op moederbord) controller. De tijd dat die de bus mag claimen voor bus mastering kun je instellen met de "PCI latency" van de betreffende controller. Nou heeft de dreambox voor zover ik weet geen PCI bus (OCP???) dus dat is lastig in te stellen.

Ik denk wel dat een softcam in combinatie met au in totaal soms net wat teveel vraagt van de eenvoudige 350 mips controller.

[Erik Slagter]

Citaat:

Citaat:

Zijn de problemen met haperingen van harddisk opnames opgelost met een Seca CI mudule, zodat hardwarematig gedecodeerd wordt? Heeft iemand ervaring? Groeten - blackfatboy

Zover ik weet wordt de decodering al hardwarematig door de STB IBM 405 chip gedaan.
Mijn Matrix cam bakt er in ieder geval niets van, als die gaat decoderen.
Wat die softcams alleen doen, is de decryption key aan de hardware geven.
De decriptie zelf wordt door de hardware uitgevoerd.

Yep correct. Alleen moet je cam wel continu de stroom in de gaten houden of er nieuwe keys langskomen en die decoderen en doorgeven aan de hardware decoder.

Het valt mij op dat als ik newcamd met au opstart, er opeens zes processen newcamd draaien, terwijl met au = off er maar 1 draait. Kennelijk gebeurt er toch heel wat "slims" met au. Ik neem aan dat newcamd dan alle vier de coderingen van de nederlandse zenders gaat scannen voor updates.

Het schijnt ook beter te gaan als je decoding met "illegale" keys uitzet, dus alleen kaart gebruikt.

Ik denk dat het een combinatie van beide is.

[Erik Slagter]

Citaat:

De maximale waarde voor -m kun je zien met "hdparm -i /dev/enz. enz." en dan kijken naar MaxMultSect. Alles op eigen risico natuurlijk <img src="/ubbthreads/images/graemlins/smile.gif" alt="" /> De documentatie van hdparm zegt ook dat je ze voorzichtig moet gebruiken, maar ik heb hier nog nooit problemen er mee gehad.

Dit heeft geen zin. De instelling mutli-sector wordt alleen voor pio-modes gebruikt, en als het goed is gebruik je die niet (maar UDMA).

Citaat:

Reden voor -c3: 32 bit ipv 16 bit tussen PCI bus en IDE chip. Zou een mogelijke snelheidverhoging geven.

Dit is specifiek voor de i386 architectuur en ook weer PIO modes. Ik heb het niet uitgeprobeerd, maar ik geef je op een briefje dat het niet uitmaakt <img src="/ubbthreads/images/graemlins/frown.gif" alt="" />

Citaat:

Reden voor -u1: Tijdens een disk interrupt worden nu ook andere interrupts afgehandeld waardoor totale "responsiveness" beter zou moeten worden.

Dit zou kunnen uitmaken. Bij mij in ieder geval niet, dus lijkt geen irq probleem te zijn.

[Erik Slagter]

Citaat:

- Ongeveer 25% performance winst (read) met instelling: hdparm -A1 -X66 -u1 -m16 /dev/ide.....

Tegenover welke instelling? Ik zie dat niet terug in bovenstaande. Overigens zal de -m16 echt niet uitmaken.

Citaat:

- Ide is niet sneller in te stellen dan udma2 mode! Is dus ATA33 en geen ATA66!!!!!!!

Probeer het eens met de goede kabel (hint: 2x zoveel draadjes).

Citaat:

- Optie hdparm -d1 (DMA enabled) wordt niet ondersteund door Dreambox.

Bzzzzt. De hdparm die o.a. in hydra erbij zit, is een busybox implementatie die geen -d 1 ondersteunt. Overigens staat-ie toch al standaard in UDMA mode.

Citaat:

- Kernel 2.6 is nog veel te jong qua ontwikkeling, kernel 2.4 kent een veel langere ontwikkeling in de tijd gezien. De 2.4 kernel is daardoor sterker, stabieler en ondersteunt meer soorten en typen hardware.

Ik draai op allerlei machines 2.6 zonder enig probleem. Ik geloof wel dat er problemen zijn met de drivers van Dream icm linux 2.6. Die hebben waarschijnlijk nog wat werk nodig.

[Erik Slagter]

Citaat:

De winst zit volgens m'n laatste inzichten niet in de lees/schrijfsnelheid maar in de responstijd. Zo heb ik gisteren een USB-harddisk aangesloten met een snelheid van nauwelijks 1MB/sec en zelfs daarmee kon ik aardige opnames maken.

Ik vermoed dat de default readahead instelling, die nogal veranderd is tussen 2.4 en 2.6, ook wel eens wat zou kunnen uitmaken.

[dAF2000]

Erik, het lijkt me verstandig om ipv 6 berichten te plaatsen binnen 26 minuten, de belangrijkste punten gewoon in 1 bericht te zetten. Overigens kan dit nog 3 uur na 't plaatsen geloof ik. Dat houdt een en ander overzichtelijk. Bedankt voor je inzichten overigens, maar een aantal punten is allang beantwoord of doen er niet meer toe.

 

De hdparm-instellingen die ik gaf werken gewoon goed bij mij (voorlopig). Als ik naar linux-onderwerpen kijk zoals "How to improve your IDE performance" of iets dergelijks dan zie ik ook dat dezelfde instellingen aangeraden worden. Of een instelling als -m16 nou wel of niet werkt voor UDMA of PIO mode maakt me niet zoveel uit. Ik zie 't daar als aanbeveling staan en baat 't niet dan schaadt 't niet. Als er in de beschijving van hdparm wordt gesproken van een mogelijke zoveel procent betere performance, dan zet ik die optie natuurlijk aan.

[Erik Slagter]

Citaat:

Erik, het lijkt me verstandig om ipv 6 berichten te plaatsen binnen 26 minuten, de belangrijkste punten gewoon in 1 bericht te zetten. Overigens kan dit nog 3 uur na 't plaatsen geloof ik. Dat houdt een en ander overzichtelijk.

Ik kan me voorstellen dat dat nogal "overdone" overkomt en ook dat er inderdaad niet meer actuele zaken tussen staan. Ik houd er van om gericht te antwoorden (dus met kort citaat) en ik zou niet weten hoe dat anders moet. Geef mij eigenlijk maar gewoon een mailing list, maar die bestaan niet over de dreambox geloof ik :-(

Citaat:

De hdparm-instellingen die ik gaf werken gewoon goed bij mij (voorlopig). Als ik naar linux-onderwerpen kijk zoals "How to improve your IDE performance" of iets dergelijks dan zie ik ook dat dezelfde instellingen aangeraden worden. Of een instelling als -m16 nou wel of niet werkt voor UDMA of PIO mode maakt me niet zoveel uit. Ik zie 't daar als aanbeveling staan en baat 't niet dan schaadt 't niet. Als er in de beschijving van hdparm wordt gesproken van een mogelijke zoveel procent betere performance, dan zet ik die optie natuurlijk aan.

Wil je dan niet weten WAAROM het niet werkt? Als je zomaar aan allerlei knopjes gaat draaien zonder dat je weet wat het doet en het blijkt opeens te werken, dan weet je dus nooit wat nou het verschil maakte.