Filtrare mole di dati
-
ciao raga mi trovo adover lavorare su moli di dati impensabili fino ad ora (ho fatto una prova di tre giorni con acquisizione ogni secondo per temperatura ed ogni mezo secondo con pinze amerometriche).
capite bene che sono venuti fuori troppi dati... ora a me servirebbe filtrare sta mole immensa di dati diciamo 1 dato ogni minuto sarebbe già ragionevole ma come cribbio fare??
ho già diviso i file di acquisizione in file.txt più ragionevoli (43200 acquisizioni a file) per intenderci così da poterli importare con openoffice/excel. il bello viene ora... come dico ai suddetti che mi devono tenere una riga ogni 60 e le altre segarle???
grazie a tutti per l'aiuto
-
ciao raga mi trovo adover lavorare su moli di dati impensabili fino ad ora (ho fatto una prova di tre giorni con acquisizione ogni secondo per temperatura ed ogni mezo secondo con pinze amerometriche).
capite bene che sono venuti fuori troppi dati... ora a me servirebbe filtrare sta mole immensa di dati diciamo 1 dato ogni minuto sarebbe già ragionevole ma come cribbio fare??
ho già diviso i file di acquisizione in file.txt più ragionevoli (43200 acquisizioni a file) per intenderci così da poterli importare con openoffice/excel. il bello viene ora... come dico ai suddetti che mi devono tenere una riga ogni 60 e le altre segarle???
grazie a tutti per l'aiuto
-
direi che sta cosa va fatta con un minimo di programmazione non certo con office o excel
conosci un minimo di java o a limite anche con un file batch?ps: ma i grafici con cosa li fai? vuoi farli in excel? non è il caso di farli in matlab?
considera che anche i nostri test per la tesi sono un 200 o 300k di txt
perchè sotocampionare questi dati non so se sia molto corretto... mi spiego meglio i dati che hai preso variano molto velocemente nel tempo oppure no? nel senso da un secondo all'altro o da un mezzo secondo all'altro c'è grossa variazione oppure rimane solitamente costante per ..tipo che ne so un quarto d'ora
-
allora ti spiego la prova:
cella termica con dentro 5 bobine di cui 2 termocoppiate + una termocoppia in cella.
1 volta al secondo acquisizione temperatura termocoppie
2 volte al secondo acquisizione con pinze ameprometriche alimentazione bobine
la temp è costante per 24h ai valori 180/200/220 e l'alimentazione è si variabile (freq 5hz, dc 3%) ma mi interessa solo quando e se le bobine si rompono quindi il sottocampionamento è necessario visto che questa mole di dati è per noi inutile... già 1 campionamento al minuto è tanto... parti dal presupposto che non so minimamente cosa si dovrebbe vedere sull'oscilloscopio alla rottura della bobina. cmq come credi dovrei agire? ho fatto c++ alla triennale ed anche un pò di matlab... ma si va indietro e la memoria è tutto fuorchè fresca... illuminami:)
-
se sei in grado con visual studio potresti fare un programmino per leggere da file una riga ogni 60 e scriverle in un altro file
dai un occhio qui:
C++ leggere e scrivere su file con gli stream | CodeSnippet
puoi fare un getline e scrivi quello che hai letto
e poi fai un ciclo for da 1 a 59 in cui fai getline a vuoto
il tutto finchè non finisce il file
vedi se di riesci semmai ti scrivo qualcosa io appena ho tempo
ps: altrimenti fai tutto in matlab
il codice preciso magari lo sa meglio maurizio che il test per i nostri dati l'ha scritto lui.. almeno lì puoi farci anche grafici in modo più intuitivo
-
per quando ti serve?
-
One1ros ha scritto:
per quando ti serve?I dati li ho scaricati ieri mattina. Oggi li ho sistemati ma come in tutte le aziende meno tempo ci si mette meglio è!.. Tieni conto che la mia influenza mi ha anche ritardato la seconda prova in cella termica... Domani dovrò vedere la disponibilità ancora x un'altra sett almeno!
-
matlab è sempre amico di un inge
risolto tutto!! addirittura funzia bene anche sull'atom 
:asd: -
apix_1024 ha scritto:
matlab è sempre amico di un inge risolto tutto!! addirittura funzia bene anche sull'atom :asd:
.... e non è affatto semplice, anche per un inge, divenire realmente amico di MathLab!!!
bene per te
e complimenti a Maurizio :clapclap: -
Totocellux ha scritto:
.... e non è affatto semplice, anche per un inge, divenire realmente amico di MathLab!!!
bene per te
e complimenti a Maurizio :clapclap:quoto soprattutto perchè noi meccanici lo vediamo per 1 corso alla triennale e poi più....
:asd: -
Con uno stupido programma in C dovresti farcela benissimo.....e anche in breve tempo....
-
keroro.90 ha scritto:
Con uno stupido programma in C dovresti farcela benissimo.....e anche in breve tempo....già risolto (a suo tempo
)con un banalissimo excel + matlab -
apix_1024 ha scritto:
già risolto (a suo tempo )con un banalissimo excel + matlab
veloce e pratico
Ciao! Sembra che tu sia interessato a questa conversazione, ma non hai ancora un account.
Stanco di dover scorrere gli stessi post a ogni visita? Quando registri un account, tornerai sempre esattamente dove eri rimasto e potrai scegliere di essere avvisato delle nuove risposte (tramite email o notifica push). Potrai anche salvare segnalibri e votare i post per mostrare il tuo apprezzamento agli altri membri della comunità.
Con il tuo contributo, questo post potrebbe essere ancora migliore 💗
Registrati Accedi