Не могу разобраться с teach_php
246
Запускаю второй скрипт, который как обычно перебирает фотки с разложением на пиксели и запихивает в массив.
.
<?php
$j = 0;
$my_example = array();
for ( $i = 0; $i < 3; $i++ )
{
$index = array(0, 0, 0);
$l = $i;
$index[$l] = 1;
$d = dir("/opt/work/new_way/temp/$i");
while($entry = $d->read())
{
if ( preg_match("/jpg/", $entry) )
{
$im = imagecreatefromjpeg("/opt/work/new_way/temp/$i/$entry");
$cur_array = array();
$cnt = 0;
for($y=0; $y<200; $y++)
{
for($x=0; $x < 200; $x++)
{
$rgb = imagecolorat($im, $x, $y) / 16777215;
$cur_array[$cnt] = $rgb;
$cnt++;
}
}
imagedestroy($im);
$my_example[$j] = array($cur_array, array($index));
$j++;
}
}
}
$ann = fann_create(array(40000, 200, 3), 1.0, 0.7);
if ( fann_train($ann, $my_example, 1000, 0.001, 1000) == FALSE)
exit('Could not train $ann.');
fann_save($ann, "my.ann");
?>
И тут столкнулся с проблемой - после того как скрипт висит пару минут (всмысле запущен и чего-то делает) выдает следующее:php teach.phpУменьшил к-во фото до 100-150-ти - все работает. Сначала подумал, что может что-то с "железом" (компьютер староват, если честно (х-ки: проц Pentium(R) Dual CPU E2200 @ 2.20GHz, память 4Гб, система Ubuntu 11.10 x64, винт IDE 40Gb)), ЖД, например или память. Решил протестировать, сделал MHDD - все норм. Память не проверял, так как сейчас пришла мысль, что может дело в том, что превышается какое-то значение времени на выполнение операции при выполнении скрипта, или ограничевается выделение ресурсов... В общем сейчас хочу копнуть в эту сторону, а то не могу даже затестить то что сделал теперь
Убито
.
В общем оптимизировать работу с мегамассивом мне не удалось и я решил разбить обучающий скрипт на 2 скрипта. Первый будет обрабатывать все фото, загонять их в my_example по сто штук и сохранять массив с сотней фоток в файлы именем filename"НОМЕРпоследнегоЭЛЕМЕНТАмассива". Нагрузка следующая: проц на 100% одно ядро, память 25-30% (1Gb-1,5Gb). время на почти 1000 фото - 3-4 минуты.
Получаю несколько файлов:
Вот такой скрипт:
Второй скрипт будет обучать/дообучать сеть на основании этих файлов или же восстановленных из них массивов..... Или даже так! - я могу собрать 1 массив из этих файлов и использовать его для обучения. Нужно подумать, какой вариант лучше (учитывая, что в дообучение я пока еще не вникал
).
Получаю несколько файлов:
Скрытый контент: Для выполнения действия необходимо авторизоваться!
Вот такой скрипт:
cat get_array.php
<?
set_time_limit(0);
//ini_set('memory_limit','1G');
$j = 0;
$c = 0;
$my_example = array();
for ( $i = 0; $i < 3; $i++ )
{
$index = array(0, 0, 0);
$l = $i;
$index[$l] = 1;
$d = dir("/opt/work/new_way/temp/$i");
while($entry = $d->read())
{
if ( strpos($entry, 'jpg')!==false )
{
$im = imagecreatefromjpeg("/opt/work/new_way/temp/$i/$entry");
$cur_array = array();
$cnt = 0;
for($y=0; $y<200; $y++)
{
for($x=0; $x < 200; $x++)
{
$rgb = imagecolorat($im, $x, $y) / 16777215;
$cur_array[$cnt] = $rgb;
$cnt++;
}
}
imagedestroy($im);
$my_example[$j] = array($cur_array, array($index));
$c++;
if ( $c == 100)
{
file_put_contents("filename$j", serialize($my_example));
unset($my_example);
$c=0;
$j++;
}
else {$j++;}
}
}
}
$j--;
file_put_contents("filename$j", serialize($my_example));
unset($my_example);
?>
Второй скрипт будет обучать/дообучать сеть на основании этих файлов или же восстановленных из них массивов..... Или даже так! - я могу собрать 1 массив из этих файлов и использовать его для обучения. Нужно подумать, какой вариант лучше (учитывая, что в дообучение я пока еще не вникал
).
Для выполнения действия необходимо авторизоваться!