simplexml out of memory

Beginner

Saturday, March 31st 2007, 1:51am

Hallo Leute,

ich hoffe es kann mir jemand für folgendes Problem einen Lösungsansatz bieten:
Für mein Projekt möchte ich Inhalte aus mir zur Verfügung gestellten XML-Datein einbinden. Die XML-Datei lade ich mir auf meinen Server kein Problem, jedoch möchte ich nun mit simplexml_load_file die XML Datei lesen und die Inhalte ide ich benötige auslesen.
Das Problem: Die Datei ist z.B. 23 MB groß, nach wenigen Sekunden bekomme ich die Meldung "parser error : out of memory error".
Anscheinend probiert simplexml_load die gesamte Datei einzulesen und das macht der Server nicht mit.
Kann man das Problem überhaupt mit simplexml lösen? Wie machen das andere die solche XML-Dateien verwenden.

Für Hilfe von euch wäre ich sehr dankbar, ich habe zu diesem Thema leider kaum etwas finden können. :cry:

Danke für eure Mühe
dreimalsieben

Torben Brodt

Administrator

Posts: 8,454

2

Saturday, March 31st 2007, 10:13am

Hi, das ist kein Problem mit simplexml, sondern schlichtweg eine PHP Einstellung.
Wenn du auf einem Shared Server bist ist es doch klar, dass es schlecht für die anderen Kunden ist, wenn du mit solch großen Dateien hantierst.

Befindest du dich auf einem Shared Server wirst du die Dateien also splitten müssen.
Besitzt du einen eigenen Server kannst du dir mehr Arbeitsspeicher verpassen, indem du in der php.ini das memory_limit = 8M auf ein paar mehr MB erhöhst.

Grundsätzlich kostet die Verwaltung der Daten mehr Arbeitsspeicher als die Daten wirklich groß sind. Verwende daher besser mal ~64MB.

Latest blogs: Neuer EX4 Server, Java EE Summit im Juni in München, Kostenlos zur Cebit + Windows 8 Entwickler Schulung

dreimalsieben

Beginner

Posts: 6

3

Sunday, April 1st 2007, 12:24pm

Hi d0nUt,

danke schon mal für die Antwort. Leider handelt es sich um ein bereitgestellten Webserver eines bekannten Anbieters. Daher denke ich, wird es nicht zuviele Möglichkeiten geben den virtuellen Speicher zu erhöhen, zusätzlich möchte ich für Seitenbesucher die mögliche Peformance auch nicht einschränken. Ich habe gerade mal nochmal nachgesehen. In der PHP.ini steht anscheinend 128M, eigentlich kommt mir das viel vor, jedoch scheint es für die Datei trotzdem nicht zu reichen!

Daher scheint für mich der einzig mögliche Vorgang das Splitten der Datein. Hast Du damit Erfahrungen? Gibt es eine einfache Möglichkeit, das z.B. via PHp autoamtisiert auf dem Server zu bewerkstelligen.

Danke für deine Mühe,
Greetings
dreimalsieben

Torben Brodt

Administrator

Posts: 8,454

4

Sunday, April 1st 2007, 1:25pm

Wenn du die Dateien streng splittest (nach Zeilen/Dateigröße/...) hast du das Problem, dass du keinen gültigen DOM Baum mehr hast um ihn mit simpleXML zu parsen.

	XML Code
1 2 3 4 5 6	<root> <node>1</node> <node>2</node> <node>...</node> <node>1000000</node> </root>

zu

	XML Code
1 2 3	<root> <node>1</node> <node>2</node>

Wenn die Struktur einheitlich ist, würde ich sie einfach mit fscanf einlesen.

PHP Quellcode

<?php
$handle = fopen ("bigfile.xml","r");
while ($node = fscanf ($handle, "<node><a>%s</a><b>%s</b></node>")) {
    list ($a, $b) = $node;
    //Jetzt direkt in der Datenbank speichern
}
fclose($handle);
?>

Oder eben mit regulären Ausdrücken arbeiten.

PHP Quellcode

<?php
$handle = fopen ("bigfile.xml","r");
while ($node = fscanf ($handle, "<node>%s</node>")) {
    preg_match($node, "<a>(.+)</a>.*<b>(.+)</b>", $node[0], $result);
    list ($a, $b) = $result;
    //Jetzt direkt in der Datenbank speichern
}
fclose($handle);
?>

Latest blogs: Neuer EX4 Server, Java EE Summit im Juni in München, Kostenlos zur Cebit + Windows 8 Entwickler Schulung

dreimalsieben

Beginner

Posts: 6

5

Sunday, April 1st 2007, 1:45pm

Okay,

ich würde es dann so umsetzen, dass ich die Daten als einzelne Datein ausgebe und nicht direkt in der Datenbank speicher (Da meine Datenbank nicht groß genug ist für alle XML-Daten). Leider ist dies natürlich alles sehr umständlich für ein eigentlich simples Ziel.
Als Alternative fällt dir aber auch kein XML-Parser (Am ebsten einer der mit PHP läuft) ein der evtl. nicht die gesamte XML-Datei einliest sondern eine Art Streaming macht? Gibt es so einen überhaupt.
Ansonsten teste ich mal die XML-Datei split Methode, hauptsache ich erreich das Ziel, egal wie

Dank dir schonmal d0nUt
Greetings
dreimalsieben

Torben Brodt

Administrator

Posts: 8,454

6

Sunday, April 1st 2007, 2:56pm

Eine Datenbank braucht doch nicht mehr Speicher als eine XML Datei. Die XML Datei könntest du direkt nach dem Parsen löschen. Die Datenbank wird sogar auf diese Weise also weniger Speicher verbrauchen, weil die ganzen Tags nicht Teil der Daten sind. Das Argument Speicherplatz entfällt also meiner Meinung nach.

Aber selbst wenn du ein Gigabyte an Arbeitsspeicher zur Verfügung hättest, solltest du die XML Files auf keinen Fall zur Laufzeit bei jedem Seitenaufruf neu parsen. Das kostet eine Menge Performance.

Einen Streaming Effekt mit PHP erhältst du, wenn du die Datei mit der oben genannten Methode einliest (oder eben aus der Datenbank), mit echo ausgibst und die Ausgabe dann mit flush sofort sendest. So kannst du quasi beliebig viele Daten verschicken.

Latest blogs: Neuer EX4 Server, Java EE Summit im Juni in München, Kostenlos zur Cebit + Windows 8 Entwickler Schulung

dreimalsieben

Beginner

Posts: 6

7

Tuesday, April 10th 2007, 9:56pm

kurze Rückmeldung

... nach langem, langem Suchen, habe ich endlich eine Möglichkeit gefunden die XML-Daten zeilenweise zu parsen ohne Schwierigkeiten mit dem Speicher zu bekommen und ohne die gesamten Daten vorher in die mysql Datenbank abzuspeichern.
Expat heißt der Zauberparser, ist zwar nicht das neueste unter den Parsern aber sehr effektiv!

An dieser Stelle nochmal vielen Dank für die Mühe und die Lösungsansätze!
Bis zu meinem nächsten Problem

Vielen Dank,
greetings
dreimalsieben

dreimalsieben

Beginner

Posts: 6

8

Monday, April 16th 2007, 9:43pm

zu früh gefreut!

Ach du Sch****,

da denkt man, man hätte einen riesen Schritt nach vorne getan und dabei war es eher einer zurück....

Beim parsen der XML-Datei ist mir erst viel später aufgefallen, dass er nur einen Teil ausliest und plötzlich ohne Fehler oder Sonstiges aufhört, d.h. es ist nicht jedesmal die selbe Stelle an die er anhält. Es ist rein zufällig. Also die ersten 1000 Datensätze liest er aus und dann stoppt er. Ich kann es einfach nicht mehr nachvollziehen.

Hier ein Ausschnitt wie ich es umgesetzt habe:

PHP Quellcode

// Datei wird zum Öffnen geladen
$fp = fopen("$XML_URL","r") 
       or die("Error reading RSS data.");
 
// Mit 4KB Zeilenmweise ausgelesen 
while ($data2 = fread($fp, 4096)){ 
 
   // Jede ausgelesene 4KB werden an Parser übergeben  
   xml_parse($xml_parser, $data2, FEOF($fp));
 
       // ERROR Verhalten 
       //or die(sprintf("XML error: %s at line %d",  
         //  xml_error_string(xml_get_error_code($xml_parser)),  
         //  xml_get_current_line_number($xml_parser))); 
 
}

Ich kann einfach nicht nachvollziehen warum er einfach an verschiedenen Stellen stoppt... Hat jemand schonmal ein ähnliches Problem gehabt oder hat eine Ahnung woran es liegen kann.

Vielen Dank,
Greetings
dreimalsieben

Torben Brodt

Administrator

Posts: 8,454

9

Tuesday, April 17th 2007, 6:49pm

Wie siehts denn mit meiner scanf Lösung von oben aus?
Ungenügender Speicher kann ja nicht das Problem sein.

Und wenn dir die regulären Ausdrücke nicht mächtig genug sind, kannst du ja auch für jeden Node den XML Parser anwerfen.

PHP Quellcode

<?php
$handle = fopen ("bigfile.xml","r");
while ($node = fscanf ($handle, "<node>%s</node>")) {
    $xml = new SimpleXMLElement($node);
    //Jetzt direkt in der Datenbank speichern
}
fclose($handle);
?>

Latest blogs: Neuer EX4 Server, Java EE Summit im Juni in München, Kostenlos zur Cebit + Windows 8 Entwickler Schulung

dreimalsieben

Beginner

Posts: 6

10

Monday, April 23rd 2007, 1:10pm

Sorry, dass ich jetzt dazu komme zu antworten. Viel zu tun

Das was mich an der ganzen Sache so stört ist, dass ich das Parser-Script testweise auf einem eigenen Server eines Bekannten getestet habe, und dort läuft es einfach durch, ohne plötzlichen, leisen Abbruch. Daher scheint im Script selber kein Fehler zu sein.

Bezogen auf deinen Vorschlag mit fscan die Daten einzulesen, muss ich ehrlich zugeben, dass ich es kurz versucht habe, es aber leider keinen wirklichen Erfolg brachte. Er wollte mir einfach keine Sinnvollen Daten ausgeben.

Als Beispiel meine XML-Struktur:

XML Code

<product id="">
<programm/>
<info>
<name></name> 
<ean></ean>
</info>
<links>
<deeplink></deeplink>
</links>
</product>

Bin anscheinend zu blöd, das fscanf() richtig aufzurufen.

Vielen Dank schon mal.
Greets

dreimalsieben

Coder Forum