For Schleife in While - Serverauslastung

x16 · 1. März 2011, 14:11

Ich habe eine For Schleife in einer While Schleife und irgendwie "schleift"

das ganze. Die Datei die hier ausgelesen wird, ist 4,5MB groß mit über 12.000 Zeilen. Das hochladen der Datei dauert etwa 40sec, aber das ausgeben im Browser locker 5min und dann stürzt der Browser sogar ab. Kann ich das irgendie anders Schreiben, damit der Server nicht in die Knie geht?
Mein Hoster ist übrigens 1 und 1. Ich habe auch noch privaten Webspace bei all-inkl. Dort läuft das Script schon schneller, aber der Broswer wird auch mit einer Fehlermeldung beendet.

Mit kleinen Dateien bis 500Kib hat das Script überhaupt keine Probleme. Auch 1MB geht noch.

Hier der Part:

Quellcode

while(!feof($fp)) {
echo "<tr class=\"bgw\" onmouseover=\"this.className='bgy';\" onmouseout=\"this.className='bgw';\">";
for ($i=0; $i < 90; $i++) {
echo "<td style=\"text-align: center; padding: 2px 5px 2px 5px;\">$text[$i]</td>\n";
}
echo "</tr>";
}

philippgerard · 1. März 2011, 14:50

Probier es mal mit:

Quellcode

$file_contents = file_get_contents($file);
$file_array = explode("\n", $file_contents);
for($file_array as $file_line){
#...
}

usw. Läuft das performanter?

Edit: Ein kleiner Tipp am Rande:

Quellcode

echo '<a href="'.$link.'">';

ist übrigens schneller als die Version mit doppelten Anführungszeichen, die du verwendest. PHP muss darin nicht nach Variablen suchen. Ist zwar nur mikroskopisch, aber gerade in solchen langen Schleifen doch relevant. Besser lesen kann man es außerdem

x16 · 1. März 2011, 15:05

OK ich teste es mal aus, aber das "for" soll doch "foreach" heißen oder?

philippgerard · 1. März 2011, 15:30

äh, ja, klar.

x16 · 1. März 2011, 17:34

So habe es getestet. Leider auch das gleich bei etwa der 6500. Zeile stürzt der Browser ab.

GneX · 1. März 2011, 19:54

Ja, logisch - Wieso möchtest du auch 12.000 Zeilen an den Browser senden? Teile es auf mehrere Seiten auf ...

vince · 2. März 2011, 12:25

du kannst die Ausgabe auch in eine Textdatei auslagern.

SeBa · 5. März 2011, 20:07

Bin ich blöd oder fehlt das seeken der Datei? Eigentlich sollte ein moderner Browser 12k Zeilen locker abkönnen, ansonsten kannst du ja gucken ob du nicht mit AJAX nur ein Auschnitt lädst...

vince · 5. März 2011, 20:50

Wenn, dann mit Hilfe der Ausgabesteuerung.

TheIMP · 7. März 2011, 21:00

Wie siehts aus mit anderen Browsern?

x16 · 8. März 2011, 17:30

Ich habe gerade ne halbe Stunde probiert die Ausgabe Seitenweise auszugeben, aber ich bekomm das nicht gebacken. Bin zu blöd.

Naja werde es nachher weiter probieren.

Ajax kann ich leider gar nicht

Das ganze passiert bei allen Browsern. Der Browser gibt etwa 600 Zeilen sofort aus und dann wird der Rest zeilenweise hinterhergeschickt. Für 1000 Zeilen hat er jetzt 15 sekunden gebraucht. Langsam denke ich mein Script ist bugy.

Ich habe mein script mal hier hochgeladen. Sämtliche Dinge, die nicht öffentlich gemacht werden dürfen habe ich verändert.
Ihr müsst die liste.php ausführen und dort dann die 2.pri hochladen.

philippgerard · 9. März 2011, 13:40

Faszinierend, nach 1min füllt Dein Skript bei mir 500MB RAM. Kein Wunder, dass da mancher Browser schlapp macht. Ich schaue mir das Skript nachher mal an, jetzt ruft erstmal eine Vorlesung nach mir

x16 · 9. März 2011, 16:19

Wieso? Ist doch egal. Ich habe 512MB Ram. Reicht doch!

Nee Spaß beiseite. Vielen Dank für deine Mühen. Ich kann kaum erwarten zu erfahren, was ich falsch gemacht habe.

philippgerard · 9. März 2011, 21:50

Das Problem scheint die schlichte Masse an HTML-Beiwerk zu sein, die Du da generierst, wenn Du Deine fast 13000 Zeilen mit jeweils einigen Unterzeilen durchlaufen lässt.

Aus

Quellcode

PRICAT;23;02;20110106;423423423423423;;54534313533;;003;;;1;001;;345456464656;005465640;;29;30;;;;;Dies ist ein Beispieltext;;20101129;20110630;0000;EUR;0000;EUR;;;1;;PCE;;;;24;;02130;;99999;;Ene Mene Mu;;;;;Und raus bist du;;;;;;;;;;;;;;;;;;;;;;;;;;;;99999;;;;;;;;;;;1900

werden ja mehrere td's, die jeweils wieder einigen Code enthalten. Und das fast 13.000 Mal. Du wirst nicht um eine Blätterfunktion umhin kommen

Quellcode

<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN"
"http://www.w3.org/TR/html4/loose.dtd">
<html lang="en">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
<title>Test</title>
</head>
<body>
<pre>
<?php
$file = file_get_contents("2.pri");
$file = explode("\n", $file);
foreach($file as $line)
{
$line = explode(";", $line);
foreach ($line as $text_line) {
echo $text_line."\n";
}
}
?>
</pre>
</body>
</html>

Alles anzeigen

Funktioniert nämlich wunderbar - ganz ohne das viele extra-HTML

vince · 9. März 2011, 23:30

philippgerard schrieb:

Du wirst nicht um eine Blätterfunktion umhin kommen

da würde es sich anbieten, nach dem Upload die Daten in einer Tabelle zwischenzuspeichern.

Du könntest dich auch als Alternative ganz von php verabschieden ...

x16 · 10. März 2011, 13:12

@philippgerard
Vielen Dank für die Mühe. Das war es also. Ich habe da Stundenlang rumgemacht und die Ursache nicht finden können.
Naja ich muss den HTML-Code leider drin lassen. Ansonsten ist die Formatierung fürn Hintern. So sieht nämllich schon die *.pri im Editor aus. Ich wollte das ganze ja mit HTML übersichtlich auflisten lassen.
______________

philippgerard schrieb:

Du wirst nicht um eine Blätterfunktion umhin kommen

Ja, da ich den HTML Code brauche, werde ich das wohl so machen müssen. Wie ist denn da der beste Ansatz?
___

vince schrieb:

da würde es sich anbieten, nach dem Upload die Daten in einer Tabelle zwischenzuspeichern.

OK, aber die Daten kommen doch eh in eine Tabelle. Würde das Zwischenspeichern nicht genauso lange dauern?
___

vince schrieb:

Du könntest dich auch als Alternative ganz von php verabschieden ...

Meinst du Ajax? Da verstehe ich leider nichts von.

vince · 10. März 2011, 16:04

Nicht unbedingt wegen der Geschwindigkeit, aber eine Blätterfunktion ist schnell umgesetzt, wenn die Daten in einer Tabelle sind.

Quellcode

SELECT [...] LIMIT x, y

Ne, nicht ajax, das ist ja keine "Sprache" ... ich meine was ganz anderes ... java, python, ruby etc.

philippgerard · 11. März 2011, 10:26

Ich würde den Prozessablauf verändern. Erst lädt man eine Datei hoch. Danach wird diese Datei immer lokal ausgelesen, bis sie nach einigen Tagen oder so als "Rest" weggelöscht wird (so gewünscht). Nach dem Hochladen wird man auf eine Seite weitergeleitet, die diese Datei lokal ausliest. Mit file() wandelst Du eine Datei in ein Array um, das Zeilenweise aufgeteilt wurde. Mit for() etc. kannst Du dann nur die gewünschten Zeilen ausgeben. Der Speicherverbraucht resultiert ja nicht aus der 3MB-Datei, die man hochlädt, sondern dem vielen HTML. Ich empfehle also erstmal in vielleicht 500er-Schritten vorzugehen.

Quellcode

$file = file("dateiname.ext");
for($i = $lower_limit; $i < $upper_limit; $i++){
echo $file[$i];
}

For Schleife in While - Serverauslastung

For Schleife in While - Serverauslastung

Quellcode

Quellcode

Quellcode

Quellcode

Quellcode

philippgerard schrieb:

philippgerard schrieb:

vince schrieb:

vince schrieb:

Quellcode

Quellcode

Teilen

Tags