simplexml — резкий скачок используемой памяти

[3eproBckuu]

Уже несколько дней тестирую парсинг xml ~ 300м на обычном хостинге. Замеров никаких не делал, но парсинг + помещение в БД занимает порядка 30-40 минут. Между циклами вставляю usleep, чтобы хостер не убил процесс. Парсер работает через пхп-шный xml_parse.
Есть подозрения, что парсер работает криво, т.к. таблицы в сумме с индексами в БД занимают меньше 200м. Буду искать косяк 

[IgorN]

xml_parse - это старый потоковый парсер. Заюзай XmlReader. 30-40 мин не много. У меня очень сложный xml его парсинг и вставка данных в БД занимает примерно ночь, на выходе получается таблица с 150 млн записей

[3eproBckuu]

сайт под озон со 150 млн записей? 

чуть освобожусь и перепишу парсер. самому свой не нравится

[IgorN]

сайт под озон со 150 млн записей? 

чуть освобожусь и перепишу парсер. самому свой не нравится

Да нет, там просто табличка со связями (два поля) мобильного контента и моделей телефона, контента 150 тыс, и у каждого контента примерно 1000-1500 моделей. Извлечение из таблички происходит быстро хоть и записей много

[Ergall-M]

Ребят, а вот такой вопросик...а сколько у вас жрет сайт написанный с использованием ZF? ну и вообще, к какому расходу памяти стоит стремится при оптимизации....понятно что чем меньше, тем лучше...но хотелось бы пощупать реальные цифры....

[IgorN]

Ребят, а вот такой вопросик...а сколько у вас жрет сайт написанный с использованием ZF? ну и вообще, к какому расходу памяти стоит стремится при оптимизации....понятно что чем меньше, тем лучше...но хотелось бы пощупать реальные цифры....

Не думаю, что на этот вопрос есть однозначный ответ. Каждый сайт жрет по разному,  многое зависит от оси, сервака и его настроект, базы и т.д.
Сейчас у меня проектик под виндой на одной из страниц жрет 11 метров.

[Ergall-M]

спс) да я понимаю что куча параметров влияют на размер памяти....и вопрос достаточно не однозначный....но просто хочется знать какие-то средние значения...у меня например страница с формой и сохранением данных этой формы весят 14мб...

[IgorN]

спс) да я понимаю что куча параметров влияют на размер памяти....и вопрос достаточно не однозначный....но просто хочется знать какие-то средние значения...у меня например страница с формой и сохранением данных этой формы весят 14мб...

Вроде нормально

[3eproBckuu]

xml_parse - это старый потоковый парсер. Заюзай XmlReader. 30-40 мин не много. У меня очень сложный xml его парсинг и вставка данных в БД занимает примерно ночь, на выходе получается таблица с 150 млн записей

Наконец-то руки добрались, переписал свой парсер под XmlReader. Нашел баг в старом - не все записи добавлялись в БД. И время парсинга сократилось на ~25%.