Forum de Statistiques
Vous souhaitez réagir à ce message ? Créez un compte en quelques clics ou connectez-vous pour continuer.
Les posteurs les plus actifs de la semaine
Aucun utilisateur

-50%
Le deal à ne pas rater :
-50% sur les sacs à dos pour ordinateur portable Urban Factory ...
19.99 € 39.99 €
Voir le deal

Impossible d'allouer un vecteur de taille 15.4 Go

3 participants

Aller en bas

taille - Impossible d'allouer un vecteur de taille 15.4 Go Empty Impossible d'allouer un vecteur de taille 15.4 Go

Message par Carlac Mer 15 Jan 2014 - 13:38

Bonjour,
Je suis ne train de faire une HCPC sous R avec un jeux de données qui comprends 46000 lignes et 4 colonnes.
J'ai lancé la ligne de commande comme suit :
>res.hcpc<-HCPC(Variables)

Et voici la réponse (après 5 minutes de calcul) :
Attaching package: 'flashClust'

L'objet suivant est masqué from 'package:stats':

hclust

Avis dans outer(weight, weight, FUN = function(x, y, n) { :
Reached total allocation of 16367Mb: see help(memory.size)
Avis dans outer(weight, weight, FUN = function(x, y, n) { :
Reached total allocation of 16367Mb: see help(memory.size)
Avis dans outer(weight, weight, FUN = function(x, y, n) { :
Reached total allocation of 16367Mb: see help(memory.size)
Avis dans outer(weight, weight, FUN = function(x, y, n) { :
Reached total allocation of 16367Mb: see help(memory.size)
Erreur : impossible d'allouer un vecteur de taille 15.4 Go


Savez vous comment je peux faire pour arriver à faire ce calcul ?

Carlac

Nombre de messages : 5
Date d'inscription : 19/12/2013

Revenir en haut Aller en bas

taille - Impossible d'allouer un vecteur de taille 15.4 Go Empty Re: Impossible d'allouer un vecteur de taille 15.4 Go

Message par Nik Mer 15 Jan 2014 - 14:07

Bonjour,

Ce problème est dépendant de la machine, de l'OS, de la version de R et de la taille des données.

Tes données ne sont tout de même pas si énorme que ça, c'est bizarre.

En solution il faut se pencher sur tout ce qui est bigdata. Je ne peux pas t'en dire plus.

nik

Nik

Nombre de messages : 1606
Date d'inscription : 23/05/2008

Revenir en haut Aller en bas

taille - Impossible d'allouer un vecteur de taille 15.4 Go Empty Re: Impossible d'allouer un vecteur de taille 15.4 Go

Message par Carlac Mer 15 Jan 2014 - 14:11

Bonjour nik,

Merci beaucoup pour ta réponse.
Cela m'étonne aussi beaucoup car ma machine est plutôt importante. Je suis sous Windows 64 bits. J'ai 16 Go de RAM

J'ai la version 3.0.2 (2013-09-25) de R

Le fichier d'origine fait 3422 Ko...ce qui n'est pas énorme du tout.

Carlac

Nombre de messages : 5
Date d'inscription : 19/12/2013

Revenir en haut Aller en bas

taille - Impossible d'allouer un vecteur de taille 15.4 Go Empty Re: Impossible d'allouer un vecteur de taille 15.4 Go

Message par droopy Mer 15 Jan 2014 - 15:47

Salut,

Tu as 16 Go mais combien sont déjà utilisés pour d'autres taches que pour R ? A priori au moins 2 ou 3, donc tu ne disposes pas de 15.Go de disponibles. HCPC va produire une matrice de distance donc 46000 * 46000 qui prend beaucoup de memoire. Il te faut peut-être voir du coté des packages qui permettent de gerer les big data.
cdlt
droopy
droopy

Nombre de messages : 1156
Date d'inscription : 04/09/2009

Revenir en haut Aller en bas

taille - Impossible d'allouer un vecteur de taille 15.4 Go Empty Re: Impossible d'allouer un vecteur de taille 15.4 Go

Message par Carlac Mer 15 Jan 2014 - 15:55

Merci beaucoup Droopy pour ces précisions.
Je vais aller me renseigner du côté des big data.

Carlac

Nombre de messages : 5
Date d'inscription : 19/12/2013

Revenir en haut Aller en bas

taille - Impossible d'allouer un vecteur de taille 15.4 Go Empty Re: Impossible d'allouer un vecteur de taille 15.4 Go

Message par Contenu sponsorisé


Contenu sponsorisé


Revenir en haut Aller en bas

Revenir en haut

- Sujets similaires

 
Permission de ce forum:
Vous ne pouvez pas répondre aux sujets dans ce forum