Impossible d'allouer un vecteur de taille 15.4 Go

Bonjour,
Je suis ne train de faire une HCPC sous R avec un jeux de données qui comprends 46000 lignes et 4 colonnes.
J'ai lancé la ligne de commande comme suit :
>res.hcpc<-HCPC(Variables)

Et voici la réponse (après 5 minutes de calcul) :
Attaching package: 'flashClust'

L'objet suivant est masqué from 'package:stats':

hclust

Avis dans outer(weight, weight, FUN = function(x, y, n) { :
Reached total allocation of 16367Mb: see help(memory.size)
Avis dans outer(weight, weight, FUN = function(x, y, n) { :
Reached total allocation of 16367Mb: see help(memory.size)
Avis dans outer(weight, weight, FUN = function(x, y, n) { :
Reached total allocation of 16367Mb: see help(memory.size)
Avis dans outer(weight, weight, FUN = function(x, y, n) { :
Reached total allocation of 16367Mb: see help(memory.size)
Erreur : impossible d'allouer un vecteur de taille 15.4 Go


Savez vous comment je peux faire pour arriver à faire ce calcul ?

Bonjour,

Ce problème est dépendant de la machine, de l'OS, de la version de R et de la taille des données.

Tes données ne sont tout de même pas si énorme que ça, c'est bizarre.

En solution il faut se pencher sur tout ce qui est bigdata. Je ne peux pas t'en dire plus.

nik

Bonjour nik,

Merci beaucoup pour ta réponse.
Cela m'étonne aussi beaucoup car ma machine est plutôt importante. Je suis sous Windows 64 bits. J'ai 16 Go de RAM

J'ai la version 3.0.2 (2013-09-25) de R

Le fichier d'origine fait 3422 Ko...ce qui n'est pas énorme du tout.

Salut,

Tu as 16 Go mais combien sont déjà utilisés pour d'autres taches que pour R ? A priori au moins 2 ou 3, donc tu ne disposes pas de 15.Go de disponibles. HCPC va produire une matrice de distance donc 46000 * 46000 qui prend beaucoup de memoire. Il te faut peut-être voir du coté des packages qui permettent de gerer les big data.
cdlt

Merci beaucoup Droopy pour ces précisions.
Je vais aller me renseigner du côté des big data.