Omschrijving
mxScraper is een algemeen inzetbare plugin met een vrij te configureren widget waarmee data van andere websites wordt opgehaald en met voorgedefinieerde shortcodes binnen Wordpress content wordt getoond.
Features
De plugin is ontworpen als een zeer flexibele screen-scraper die middels shortcodes de verzamelde data beschikbaar stelt voor WordPress pagina’s. De shortcodes zijn opgesteld in twee lagen:
- Scrapes – voor het ophalen van data uit downloads
- Calcs – voor het presenteren van afgeleide data, (bijvoorbeeld de goudprijs in euro’s van een gram 14kt goud op basis van de dollarkoers en de prijs in dollars van een ounce puur goud).
In de shortcodes van zowel de Scrapes als de Calcs kunnen parameters worden opgenomen die binnen de definitie worden geëvalueerd.
Naast de shortcodes is een tekst-widget toegevoegd voor gebruik van shortcodes in de side-bar. In tegenstelling tot de standaard tekst-widget van WordPress worden in deze widget shortcodes wél geëvalueerd.
Status
De huidige versie van de plugin is een basis-versie, die gebruikt wordt door meerdere websites. De functionaliteit is uitgebreid getest, maar niet alle features die mogelijk gewenst zijn of die men van de plugin zou verwachten zijn geïmplementeerd. Zie voor meer informatie de TODO’s / wish-list hieronder en de versie-historie onderaan deze pagina.
TODO’s / wish-list
In de huidige versie ontbreken mogelijk een aantal zaken en zijn er features die verbeterd zouden kunnen worden, waaronder een aantal die het voor de webmaster makkelijker maken en waarmee meer/beter gescraped kan worden. Zonder specifieke prioritering zijn dit oa. deze items:
configuratie van scrapes en calcs in admin pagina- beheer van downloads in admin pagina
- scheduling van downloads obv. cron-jobs
- foutafhandeling bij download time-outs (evt. e-mail notificatie)
- caching van data en soortgelijke optimalisaties
- additionele scraping methodes (between-text, after-text, soap, json, reg-exp, …)
update management (update functie in admin, voor lite versie via wp-repository?)- licentie management (voor reguliere vs. lite versie)
- niet voorgedefinieerde scrapes (in-promptu scrapes)
- override scrape-definitie dmv. shortcode attribuut
- logging (b.v. van scrape downloads)
- ondersteuning voor vertaling van plugin-tekst (o.a. in admin)
- lite versie in WP repository
- parameters array in definitie (voor checking/defaults)
Nb. Niet ieder item is even noodzakelijk voor ingebruikname en het is goed mogelijk dat sommige ideeën op de plank blijven liggen, of dat er o.b.v. het gebruik andere zaken wenselijk worden geacht. Heeft u suggesties, schroom dan niet deze te melden.
Versie historie
0.22.1220 – Ondersteuning voor WordPress 6 en PHP 7/8
0.16.0312 – Fix voor short_open_tag incompatibility.
0.16.0306 – Nieuwe xtext feature om op attributen zoals class namen te zoeken.
0.13.0419 – Verbeterde afhandeling bij downloadproblemen middels backups. Tabbladen bij Instellingen voor beter overzicht. Nieuwe optie Debug level voor verbergen/tonen foutmeldingen en waarschuwingen.
0.13.0217 – Admin-configuratie-pagina “Instellingen | mxScraper” toegevoegd. Basisconfiguratie (Scrapes en Calcs) worden in de wp_options tabel gebundeld opgeslagen (optie: mxscraper_configuration) en zijn via de pagina “Instellingen | mxScraper” te bewerken. Andere instellingen zijn nog hardcoded. De configuratie hoeft niet meer handmatig worden bewaard voor een update.
0.13.0214 – Kleine verbeteringen plus Update functie toegevoegd. De plugin controleert nu automatisch op de Maxint server of er een nieuwe versie is en attendeert de admin indien nodig. Ter voorkoming van het overschrijven van de configuratie moet deze voor een update nog handmatig worden bewaard.
0.13.0206 – Eerste alfa versie gereed voor testen. De basisfunctionaliteit zit erin, maar nog niet alle features die mogelijk gewenst zijn of die men van een plugin zou verwachten.