noSQL inlezen met XML READER

nosql


Ermmedia heeft voor een klant een zware applicatie ontwikkeld wat xml bestanden snel moest importeren. Daarnaast was het ophalen van data ook belangrijk, dit hebben wij door middel van Solr kunnen bereiken.Voor het inlezen van XML bestanden zijn de volgende opties in PHP beschikbaar: Simple_XML, en XMLREADER. In deze situatie is het belangrijk dat performance optimaal is.Daarom hebben we opgezocht welke snelheid optimaal is. Er is getest om een XML bestand in te laden met 21467 records (190MB). Hieronder ziet men de bevindingen.
Simple XML
Memory Usage 18%
Verstreken tijd 3.14164 MS

XMLREADER
Memory Usage 0,3 %
Verstreken tijd 0.00128 MS

Ophalen van data door middel van noSQL

Als er gebruik gemaakt wordt van noSQL dan is meestal de gedachtegang om gegevens op te slaan in een database wat geen koppelingen vereist. Men kan dit zien als een container waarin alle data verwerkt wordt. Deze container heeft geen koppelingen zoals WHERE , INNER JOIN etc. nodig; alleen een algemene plek waar de data opgeslagen is. De data kan weer snel opgehaald worden omdat het relationele hieruit is gehaald
Onze noSQL oplossing bestaat uit searchindex (Solr 4.0). Men kan dit zien als een grote container die miljoenen records bevat.Als er meer capaciteit nodig is dan kan Solr horizontaal geschaald worden, dit is uberhaupt het grootste voordeel van noSQL.

Wanneer er diverse documenten in de Solr database worden geplaatst, moet om de zoveel tijd Solr geherindexeerd worden. Het herindexeren zorgt ervoor dat alle oude documenten worden verwijderd en de index opnieuw gecreëerd word. Voor 30 miljoen records kan dit wel een anderhalf uur duren. Wanneer de index opnieuw gecreëerd is, kan men wel snel zoeken in de database.

Deel dit artikel met je vriendenShare on FacebookShare on Google+Tweet about this on TwitterShare on LinkedInEmail this to someonePin on Pinterest

Leave a Reply