da 600 milioni di record in su....

[Alberto Salvati]

Si, avete capito bene.
Sono proprio 600 milioni di record senza errori sul numero di zeri.
Chiedo se qualcuno del ng ha mai maneggiato una mole di dati simile.
Oracle sembrerebbe la scelta obbligata, ma avendo avuto un ottima esperienza
con sybase mi chiedo se reggerebbe un simile carico di dati...
Insomma, secondo voi, data la mole di dati, esiste una alternativa
affidabile a Oracle?
Vi avviso subito che NON ACCETTO M$SQL DI ZIO BILLY O DB2 DI IBM.
Il primo xche non mi fido ed il secondo xche non mi va di imparare il c x
scrivere le stored procedure.
Per ovvi motivi di riservatezza non posso dirvi di cosa si tratta ma serve
mooooooooolta velocità, tutta quella che si riesce a spremere + qualcosa in
+..
Il numero dei client dovrebbe essere intorno a 2000 CONTEMPORANEI su un
range del doppio.

Saluti

AS

[Zortek]

Post by Alberto Salvati
Sono proprio 600 milioni di record senza errori sul numero di zeri.

il problema, secondo me, non e' tanto il numero di record ne' il numero di
client, ma l'uso tipico del DB: in inserimento/modifica/cancellazione o
consultazione? con che frequenza (es. 10 mila scritture/minuto) e in che %
(es. 30% scritture, 70% letture) queste operazioni avvengono? In base a
queste considerazioni si potra' dimensionare innanzitutto il sistema
hardware (spero che tu non abbia pensato ad un singolo pc magari
monoprocessore per far girare un mostro del genere), quindi il sistema
software.

Ciao, Sandro

[Alberto Salvati]

Il numero medio di inserimenti è di 10*2*n al secondo dove n è il numero di
clients
Il numero di letture è quasi sullo stesso ordine.

A

[Zortek]

Post by Alberto Salvati
Il numero medio di inserimenti è di 10*2*n al secondo dove n è il numero di
clients
Il numero di letture è quasi sullo stesso ordine.

secondo me non ci sono alternative a Oracle e DB2, per rimanere nell'ambito
PC. Sono i database piu' blasonati per la gestione di moli di dati di
quell'ordine di grandezza. Alternativa a tutto potrebbe essere un AS/400, ma
non penso tu voglia considerare un'altra piattaforma, vero?
Qualunque database tu scelga, comunque, dovra' girare su un cluster di
server, visto il numero delle operazioni al secondo, quindi verifica che
questi possa supportare tale tipo di tecnologia.

Ciao, Sandro

[Jax]

Post by Zortek
Alternativa a tutto
potrebbe essere un AS/400

I agree. Un'ottima alternativa, direi. Oltretutto imparare da zero (io l'ho
fatto e avevo pochissime basi) non è poi così difficile, basta un corso o
due.
Però non conosco bene Oracle e, sinceramente, una tale mole di dati su un
unico file non l'ho mai vista neanche in as/400...

So che è una cosa che avrai già preso in considerazione, ma dividere i
record su più tabelle non è possibile?

Però adesso ci devi dire *cosa cavolo sono* quei 600 milioni di record!!!!
;)

--
Jax
====
"Microsoft ha migliorato l'open source come Bin Laden ha migliorato la
sicurezza negli aeroporti"
da Hacker Journal

[Zortek]

Post by Alberto Salvati
Per ovvi motivi di riservatezza non posso dirvi di cosa si tratta

considerato il periodo e il numero di record, mi sembra ovvio: e' il
database delle consegne dell'azienda di Babbo Natale con relativi corrieri
;)

Ciao, Sandro

[Alberto Salvati]

6 un mito, zortek! :)

A

[Acqua]

Post by Zortek

Post by Alberto Salvati
Per ovvi motivi di riservatezza non posso dirvi di cosa si tratta

considerato il periodo e il numero di record, mi sembra ovvio: e' il
database delle consegne dell'azienda di Babbo Natale con relativi corrieri
;)

Ma quante ne sai! :)

--
Acqua

[Morde]

Post by Acqua
Ma quante ne sai! :)

We wants Zortek for president! :))

Ora pero' Salvati ci deve spiegare come ha fatto a essere contattato dalla
Babbo Natale International! anche noi vogliamo partecipare!

[Zortek]

Post by Morde
Ora pero' Salvati ci deve spiegare come ha fatto a essere contattato dalla
Babbo Natale International! anche noi vogliamo partecipare!

probabilmente nella letterina che ha scritto a Babbo Natale come tutti gli
anni, questa stavolta ha allegato il curriculum vitae ;)))

Ciao, Sandro

[Jax]

Post by Alberto Salvati
Sono proprio 600 milioni di record senza errori sul numero di zeri.
Vi avviso subito che NON ACCETTO M$SQL DI ZIO BILLY O DB2 DI IBM.
Il primo xche non mi fido ed il secondo xche non mi va di imparare il
c x scrivere le stored procedure.
Il numero dei client dovrebbe essere intorno a 2000 CONTEMPORANEI su
un range del doppio.

IMHO, farai la piega sul DB2+iSeries, che quelle cifre le regge.
Oltretutto 4000 client non sono certo pochi.
Certo che 600 milioni sono *davvero* tanti, forse anche per db2...
Prova a chiedere lumi su it.comp.as400, c'è gente davvero competente, tipo
il dr. Ugo Gagliardelli, che ti potrebbe consigliare sulla strada da
prendere.

--
Jax

[Alberto Rubinelli]

Il giorno Sat, 20 Dec 2003 15:25:23 +0100 il buon Alberto Salvati
scriveva ...

Post by Alberto Salvati
Si, avete capito bene.
Sono proprio 600 milioni di record senza errori sul numero di zeri.
Chiedo se qualcuno del ng ha mai maneggiato una mole di dati simile.
Oracle sembrerebbe la scelta obbligata, ma avendo avuto un ottima esperienza
con sybase mi chiedo se reggerebbe un simile carico di dati...
Insomma, secondo voi, data la mole di dati, esiste una alternativa
affidabile a Oracle?

Premetto che non sono mai arrivato a 600 milioni ma solo fino a 50, in
quell'occasione ho usato ADS della Extended Systems e non me ne sono
pentito. Pero' non so dire se fosse la soluzione migliore perche' non ho
avuto la possibilita' di provare Oracle o simili.

Ciao.Alberto.

[Massimo Pini]

On Sat, 20 Dec 2003 15:25:23 +0100, "Alberto Salvati"

Post by Alberto Salvati
Si, avete capito bene.
Sono proprio 600 milioni di record senza errori sul numero di zeri.
Chiedo se qualcuno del ng ha mai maneggiato una mole di dati simile.
Oracle sembrerebbe la scelta obbligata, ma avendo avuto un ottima esperienza
con sybase mi chiedo se reggerebbe un simile carico di dati...
Insomma, secondo voi, data la mole di dati, esiste una alternativa
affidabile a Oracle?
Vi avviso subito che NON ACCETTO M$SQL DI ZIO BILLY O DB2 DI IBM.
Il primo xche non mi fido ed il secondo xche non mi va di imparare il c x
scrivere le stored procedure.
Per ovvi motivi di riservatezza non posso dirvi di cosa si tratta ma serve
mooooooooolta velocità, tutta quella che si riesce a spremere + qualcosa in
+..

Io lavoro su un database con un paio di tabelle di quelle dimensioni
(550 milioni al momento) pero' il DB è MSSQL ;-)

Si tratta di un cluster su raid in fibra con l'inserimento medio di 3
milioni di record al giorno e due DB di replica, il tutto funziona
senza problemi da 5 anni, visto che è tutto M$, incredibile ma vero.

[Zortek]

il tutto funziona senza problemi da 5 anni, è tutto M$

strano, pensavo che tra pochi giorni fosse Natale, non il 1' aprile ;)

Ciao, Sandro

[Massimo Pini]

Post by Zortek

il tutto funziona senza problemi da 5 anni, è tutto M$

strano, pensavo che tra pochi giorni fosse Natale, non il 1' aprile ;)
Ciao, Sandro

Taci, che sono 5 anni che vivo con le dita incrociate, mi è venuta
l'artrite alle dita :p

[Zortek]

Post by Massimo Pini

il tutto funziona senza problemi da 5 anni, è tutto M$

sono 5 anni che vivo con le dita incrociate

a meno che tu non abbia informatizzato il Santuario di Lourdes, non esistono
spiegazioni razionali al fenomeno ;)

Ciao, Sandro

[Jax]

Post by Massimo Pini
Si tratta di un cluster su raid in fibra con l'inserimento medio di 3
milioni di record al giorno e due DB di replica, il tutto funziona
senza problemi da 5 anni, visto che è tutto M$, incredibile ma vero.

L'unico commento che posso fare è: MINCHIA!

--
Jax
====
Allora tutto il film della mia vita mi è passato davanti agli occhi in
un momento! E io non ero nel cast! (Woody Allen)

[Andrea Laforgia]

Post by Alberto Salvati
Sono proprio 600 milioni di record senza errori sul numero di zeri.

Un cluster è la soluzione migliore per questa mole di dati.

[Alberto Salvati]

Grazie a tutti coloro che hanno risposto alla mia "Invocazione"....
Per sintetizzare....

Massimo:
scusami! Non metto in dubbio quanto dici ma sai come la penso sulla roba
di zio billy.

Zortek:
un giorno che vieni a Milano ci organizziamo e andiamo insieme a zelig a
fare uno show... :)))

Alberto;
'sto prodotto sinceramente non lo conosco. Faccio un po di ricerche

Infine, x tutti:

1) diciamo che, data la mia totale sfiducia nei riguardi di Microsoft,
sono tentato dall'idea di proporre un server non winsozz, puntando
magari sulla coppia linux+oracle oppure linux+sybase, se non addirittura
puntare su Novell....

2) possibile che nessuno usa Sybase, qui????? :((

3) questo simpatico link passatomi da un collega:

http://www.wintercorp.com/vldb/2003_TopTen_Survey/TopTenWinners.asp


Saluti

A

[Zortek]

Post by Alberto Salvati
sono tentato dall'idea di proporre un server non winsozz,

bravo! come dice il proverbio: "sempre guardare avanti nella vita!!!"

maaa ..consiglio personale: datti anche un'occhiata alle spalle, ogni tanto
;) ..

Ciao, Sandro

[Andrea Laforgia]

Post by Alberto Salvati
scusami! Non metto in dubbio quanto dici ma sai come la penso sulla roba
di zio billy.

Probabilmente ti sconvolgerà sapere che il tuo tanto odiato MS SQL Server
altro non è che il tuo tanto amato Sybase (di cui MS ha comprato i
sorgenti nel 1994). Fino a quella data, Microsoft è stata distributore
ufficiale di Sybase e il suo Microsft SQL Server era, in realtà, il
"Sybase SQL Server" per OS/2 e NT.

[Alberto Salvati]

Andrea, 'sta cosa la sapevo.
Stiamo parlando del 1994, ovvero, quasi 10 anni fa.
Da quel punto in poi, imho, si tratta di prodotti diversi, no?

A

[Andrea Laforgia]

Post by Alberto Salvati
Andrea, 'sta cosa la sapevo.
Stiamo parlando del 1994, ovvero, quasi 10 anni fa.
Da quel punto in poi, imho, si tratta di prodotti diversi, no?

Ufficialmente sì, a livello di sorgente non ne sarei così sicuro.
E in ogni caso, la tua innata e personale sfiducia nei confronti di
Microsoft non dovrebbe annebbiarti la vista quando c'è da prendere una
decisione importante. Se SQL Server è costruito su Sybase (praticamente
copiato), non c'è ragione di credere che il primo sia meno adatto del
secondo per la tua applicazione.

[Alberto Salvati]

Post by Andrea Laforgia
E in ogni caso, la tua innata e personale sfiducia nei confronti di
Microsoft non dovrebbe annebbiarti la vista quando c'è da prendere una
decisione importante.

Non credi che alla tua lista di aggettivi dovresti aggiungere
"giustificata"?

Quello che mi spaventa di m$sql è che sento pareri molto discordanti...

A

[Andrea Laforgia]

Post by Alberto Salvati

Post by Andrea Laforgia
E in ogni caso, la tua innata e personale sfiducia nei confronti di
Microsoft non dovrebbe annebbiarti la vista quando c'è da prendere una
decisione importante.

Non credi che alla tua lista di aggettivi dovresti aggiungere
"giustificata"?

No, perché non ritengo che lo sia.

[Alberto Salvati]

Post by Andrea Laforgia
No, perché non ritengo che lo sia.

Ognuno la pensa a modo proprio,Andrea.
Rispetto il tuo penserio e quello di quanti si trovano bene con M$sql.


A

[Morde]

Post by Alberto Salvati
Da quel punto in poi, imho, si tratta di prodotti diversi, no?

e chi ti garantisce che i sorgenti siano stati modificati/riscritti ??? ;-)

[Lis]

Post by Alberto Salvati
http://www.wintercorp.com/vldb/2003_TopTen_Survey/TopTenWinners.asp

Sarà un caso se in queste classifiche MS Sql, se presente, è sempre nella
parte bassa della classifica?

[Massimo Pini]

Post by Lis

Post by Alberto Salvati
http://www.wintercorp.com/vldb/2003_TopTen_Survey/TopTenWinners.asp

Sarà un caso se in queste classifiche MS Sql, se presente, è sempre nella
parte bassa della classifica?

Beh, per quanto quegli specchietti possano valere, a me non sembra:
Number of rows, Sistema windows, OLTP: dal primo al nono posto MSSQL
Number of rows, Sistema windows, DDS: dal quarto posto in poi MSSQL
Database size, sistema windows, OLTP: 1, 3, 4, 5, 6 e 8 posto

Comunque, che Microsoft piaccia o meno MSSQL funziona e funziona bene.
Certo, se devo fare un picoclo gestionale o simili è una pazzia, ma su
grossi progetti il suo sporco lavoro lo fa bene :-)

[Lis]

Post by Massimo Pini
Number of rows, Sistema windows, OLTP: dal primo al nono posto MSSQL
Number of rows, Sistema windows, DDS: dal quarto posto in poi MSSQL
Database size, sistema windows, OLTP: 1, 3, 4, 5, 6 e 8 posto

Non avevo fatto la distinzione per piattaforma, avevo tenuto insieme unix e
windows. Allora direi che è significativo il fatto che i db più grossi non
risiedono su macchine windows

Post by Massimo Pini
Comunque, che Microsoft piaccia o meno MSSQL funziona e funziona bene.
Certo, se devo fare un picoclo gestionale o simili è una pazzia, ma su
grossi progetti il suo sporco lavoro lo fa bene :-)

Non ho nulla contro sql server, per quel poco che ci ho lavorato non ho
avuto nessun problema, sono solo considerazioni che ho fatto guardando le
classifiche ;-)

[Andrea Laforgia]

[...]Allora direi che è significativo il fatto che i db più grossi non
risiedono su macchine windows

Bella questa arrampicata di specchi ;-)

[Lis]

Post by Andrea Laforgia

[...]Allora direi che è significativo il fatto che i db più grossi non
risiedono su macchine windows

Bella questa arrampicata di specchi ;-)

Non sto facendo nessun mirror climbing :-p
Ho semplicemente ampliato i ragionamenti:
in ambito windows ms sql va per la maggiore, evidentemente perchè i
concorrenti sono più scomodi oppure più costosi oppure meno efficaci
oppure...sono meno sostenuti dal marketing.
in ambito globale invece i maggiori db (496 contro 61 milioni di righe
oppure 29 contro 8 gb) sono su macchine unix. Magari è una questione di
costi, magari di affidabilità o magari di prestazioni, ma comunque il fatto
che quelli più grossi usino tutto unix lascia pensare un pò.
Ora sarei curioso di sapere le dimensioni di un db su mainframe (ho usato
solo db/2 ibm)

[Andrea Laforgia]

Post by Lis
Non sto facendo nessun mirror climbing :-p

Non lo sarà, ma gli somiglia molto, specie se si passa da una discussione
specifica su SQL Server a una discussione sulle "macchine Windows", in
generale.

Post by Lis
in ambito windows ms sql va per la maggiore,

Non è neanche detto: l'uso di MS SQL Server è legato ad esigenze
specifiche, come ogni altro DB. Ad esempio, Interbase potrebbe non
rispondere a certe caratteristiche che SQL Server possiede, così come
l'adozione di Oracle potrebbe risultare troppo onerosa e sprecata.
MS SQL Server, essendo un sistema che **funziona**, può essere una valida
via di mezzo. Io l'ho visto lavorare bene in diversi ambiti.

Post by Lis
in ambito globale invece i maggiori db (496 contro 61 milioni di righe
oppure 29 contro 8 gb) sono su macchine unix. Magari è una questione di
costi, magari di affidabilità o magari di prestazioni, ma comunque il
fatto che quelli più grossi usino tutto unix lascia pensare un pò.

Ribadendo il fatto che questa discussione non c'entra nulla con quanto
stavamo dicendo precedentemente, che tutti i maggiori DB siano su macchine
UNIX è ancora da vedere, non so se tu hai fatto personalmente il giro di
*tutti* i db di tutto il mondo. Io credo che seppure ciò fosse vero,
dipenderebbe solo dal fatto che macchine che montano un db molto grande,
generalmente devono assolvere a compiti prestazionalmente più elevati ed è
tradizione che su queste macchine girino sistemi UNIX-like.

[Morde]

Post by Andrea Laforgia
macchine che montano un db molto grande,
generalmente devono assolvere a compiti prestazionalmente più elevati ed è
tradizione che su queste macchine girino sistemi UNIX-like.

Sono d'accordo, credo che il motivo di questa preferenza sia da ricercare
nella intrinseca stabilita',solidita' e nelle alte performances dei sistemi
unix like. Pero', credo che gia' adesso con windows server M$ sia arrivata ad
un buon traguardo.

[Lis]

Post by Andrea Laforgia
Non lo sarà, ma gli somiglia molto, specie se si passa da una discussione
specifica su SQL Server a una discussione sulle "macchine Windows", in
generale.

Magari posso dare questa impressione ma io non parteggio nessuno dei due:
conosco e uso windows e ho solo provato "alla lontana" unix e linux ma non
abbastanza da fare un confronto. Mi piacerebbe avere il tempo di installarmi
a casa linux ma poi non ho mai il tempo per "giocarci". Quindi non sono nè
pro nè contro microsoft (solo un pò contro VB per tutto quello che mi ha
fatto passare)

Post by Andrea Laforgia
Non è neanche detto: l'uso di MS SQL Server è legato ad esigenze
specifiche, come ogni altro DB. Ad esempio, Interbase potrebbe non
rispondere a certe caratteristiche che SQL Server possiede, così come
l'adozione di Oracle potrebbe risultare troppo onerosa e sprecata.
MS SQL Server, essendo un sistema che **funziona**, può essere una valida
via di mezzo. Io l'ho visto lavorare bene in diversi ambiti.

Anche le mie limitate esperienze con sql server sono sempre state positive,
le mie erano semplici considerazioni che mi sono venute in mente *solo*
guardando quelle classifiche che, pur incomplete, sono anche sponsorizzate
da Microsoft che avrebbe tutto l'interesse di far sapere quali sono i suoi
DB grossi...o no?

Post by Andrea Laforgia
Ribadendo il fatto che questa discussione non c'entra nulla con quanto
stavamo dicendo precedentemente, che tutti i maggiori DB siano su macchine
UNIX è ancora da vedere, non so se tu hai fatto personalmente il giro di
*tutti* i db di tutto il mondo.

Ripeto, erano considerazioni su *quelle* classifiche, e basta. Non c'era
nessuna intenzione di caldeggare per una solulzione o per un'altra. Ho anche
detto che sarei curioso di sapere la dimensione di un db su mainframe, per
esempio quello di CartaSi