[dennou-ruby:003809] NArray-bigmem on ruby2.2.0 Re: [dennou-ruby:003753] Re: [dennou-ruby:003752] 大規模データ

[Masuo Nakano <masuo@xxxxxxxxxxxxxx>]

���Ǥ���

����ȸŤ��᡼��������
debian wheezy��narray-bigmem��uby-netcdf��y2.2.0�ǻ�Ƥߤޤ�����
gcc ��ersion 4.7.2
����ruby-netcdf�Υƥ��Ȥ��Ȥ������������
�ʤ��򸫤Ƥߤ褦���Ȼפ��ޤ�����������Ȼ��֤��ʤ������ʤΤǴ�ꤲ�Ǥ���

�ʲ������Ǥ���
ǯ�������������Ȥ��ˡ�
narray-bigmem����ʤ����Ȥ������褦�ʵ������ޤ���
����Ⱦ��ٹ����ʤ�����ʤ����Ǥ���

openmp������뤿��
libgomp1�Ȥ����ѥå������򤤤�������
�ޤ�
ruby extconf.rb
������ƤǤ���kefile�Ǥϡ�������롢��������fopenmp���Ĥ��ʤ��Τǡ�
CFLAGS��dflags�˽񤭲ä��Ƥ���ke���ޤ�����
1000x1000x300�Ȥ���Array�򣲤����˺��Ʊ䡹��������������Ȥ�äƸ��ޤ�����
ʣ����ɤDz����������Ǥ��Ƥ������Ǥ���

����ruby-netcdf�����Ƹ��ޤ�����
������ѥå�򤢤Ƥ��������򤿤���NArray.constants.include?("SUPPORT_BIGMEM")��rray.constants.include?("SUPPORT_BIGMEM") ||
NArray.constants.include?(:SUPPORT_BIGMEM)
�ˤ���ake���ơ����󥹥ȡ����Ǥ�K�Ǥ�����

ruby-netcdf��դ��Ƥ���st.tb������Ƹ��ޤ�������
netcdf.rb�Σ���ܤΥ��󥳡��ǥ���iso-2022-7bit)�������������ܤ��ޤ�����
nkf��uc�ˤ���uc-jp�˽񤭴������Ȥ����˿ʤߤޤ�����

creating test.nc...
/home/masuo/cc-env/lib/ruby/site_ruby/2.2.0/numru/netcdf.rb:130:in
`put_attraw': Unrecognized NArray type (ArgumentError)
from /home/masuo/cc-env/lib/ruby/site_ruby/2.2.0/numru/netcdf.rb:130:in
`put_att'
from test.rb:19:in `<main>'
�Ȥ������ƥ��Ȥ�äƤ��ޤ������ꥸ�ʥ�NArray�Ǥϥƥ���̤ä��Τ�igmem��������Τ褦�Ǥ���

�ɤ������������ꤤ�������ޤ���

�����




2014ǯ10��� 9:52 Seiya Nishizawa <seiya@xxxxxxxxxxxxxx>:
> ����
>
> 3/18 ����ML����
> narray-bigmem (narray plus over 2GB memory handling and thread
> parallel processing)
> �Ȥ����᡼���������ˡ�2GB�ۤ���Ρ�narray ����������
> https://github.com/seiya/narray-bigmem
> �����Ȥ��������嵭�᡼��ź����������å��ɬ��Ǥ���
> ���ȡ����ι����󤫤�����ѹ���ɬ��Ȥλ���⤤������Ƥ��ޤ���
>
> # gmail �Ǥ���������Ƥ����᡼�뤬�����ʤ��Τǡ�������ֹ椬ʬ�������󡣤����ޤ���> # ���ȡ� dennou-ruby ML ��web ���������֤� 2014 �ϤĤ����Ƥ��ʤ�����͡�
>
>
> ---  ������᡼�뤳����������ž�����Ƥ����ޤ������)
> ��y-netcdf-*.*.*/lib/netcdf.rb ��ruby-dcl-*.*.*/lib/dcl.rb
> Ƭ����NArray �� NArray-bigmem ����ꤷ�Ƥ����꤬����������
> ���NArray.constants.include?("SUPPORT_BIGMEM")
> Ruby-1.9�ʾ��ϡ��᥽�å����������ʤäƤ��ꡢ
> ����ư��ޤ��������
>
> NArray.constants.include?("SUPPORT_BIGMEM")
> ��NArray.constants.map{|t|t.to_s}.include?("SUPPORT_BIGMEM")
> �Ȥ��Ʋ���ޤ�����
>
> ���ȡ���ʬ����äơ����顼�����������Ф����ˤʤäƤ��ޤ�����
> ������դΤ褦�ʵ������ޤ�
>
> ��y-dcl ��NumRu::DCL::SUPPORT_BIGMEM �����������ʤ�
> ruby-netcdf�Υѥå�Ǥϡ�Ʊ��Τ��������������Τǡ�
> �������ͤˡ�init.c.default �������ޤ�����
>
> --- /home/kohmasa/usr/src/ruby-dcl-1.7.0/init.c.default
> +++ /home/kohmasa/usr/src/ruby-dcl-1.7.0_bigmem/init.c.default
> @@ -1,6 +1,7 @@
>  #include <stdio.h>
>  #include "ruby.h"
>  #include "libtinyf2c.h"
> +#include "narray.h"
>
>  /* for compatibility with ruby 1.6 */
>  #ifndef RARRAY_PTR
> @@ -124,6 +125,12 @@
>      mDCL = rb_define_module_under(mNumRu, "DCL");
>      rb_define_const(mDCL, "DCLVERSION", rb_str_new2(DCLVersion));
>
> +#ifdef NARRAY_BIGMEM
> +    rb_define_const(mDCL, "SUPPORT_BIGMEM", Qtrue);
> +#else
> +    rb_define_const(mDCL, "SUPPORT_BIGMEM", Qfalse);
> +#endif
> +
>      init_grph1_csgi(mDCL);
>      init_grph1_scpack(mDCL);
>      init_grph1_sgpack(mDCL);
>
> �ʾ�����
> --- ������᡼�뤳���ޤ�>
>
> �߷��
>
> 2014ǯ10��� 6:54 Shin-ichi Takehiro <takepiro@xxxxxxxxxxxxxx>:
>> ����Ǥ�.
>>
>> ������ 1024^3 ����礭���Υǡ����򰷤���>> �ʤ����ʤ�����. ���ʤ����߹�����>> GPhys/NArray ��2GB �θ³�����Ƥ��ޤ�, ��������> ���ɤ��륿���ߥ󥰤ǥ��顼���ФƤ��ޤ��ޤ�.
>>
>> 2 GB �äƤ��ޤɤ��ǡ�����Ȥ��Ƥϸ������褦�ʵ������ޤ���,
>> ���������褵�������Ǥ��礦? ��塼�ȥꥢ���ФƤ���
>> ������롼�פDz󤷤� �Ȥ��ä����ȤϤ��ޤ��ꤿ���ʤ��Ǥ�.
>> ���ԤΤ��ո���ʹ����������.
>>
>>                     Takepiro(������������. ������>>                         E-mail:takepiro@xxxxxxxxxxxxxx
>>                                takepiro@xxxxxxxxxxxxxxxxxxxx
>>
>>
>>
>
>
>
> --
> Seiya Nishizawa
> RIKEN Advanced Institute for Computational Science
> Tel: +81-78-940-5754, Fax: +81-78-304-4972
> 7-1-26, Minatojima-minami-machi, Chuo-ku, Kobe, Hyogo 650-0047, Japan
>
>



-- 
Masuo NAKANO, Ph.D.
Dept. Seamless Environmental Prediction Research, JAMSTEC
3173-25 Showa-machi, Kanazawa-ku
Yokohama, 236-0001, JAPAN
TEL: +81-45-778-5616