Error message
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
- Notice: Trying to access array offset on value of type null in scssc->sortArgs() (line 1624 of /home/drapti5/public_html/cvraptis/sites/all/themes/superhero/includes/scss.inc.php).
Εισαγωγή Τα τελευταία χρόνια μάς έχει απασχολήσει ο τρόπος με τον οποίο το ΥΠΕΠΘ προσεγγίζει την εισαγωγή των Νέων Τεχνολογιών στην Εκπαίδευση και έχουμε ασκήσει κριτική για την επικράτηση μιας τεχνοκεντρικής αντίληψης στο όλο ζήτημα (παρά τις ενίοτε φραστικές διακηρύξεις περί του αντιθέτου), για τη σύνθεση των επιτροπών που διαμορφώνουν τις εισηγήσεις και τις εκπαιδευτικές αποφάσεις, για την καθυστέρηση της ένταξης του υπολογιστή στην πρωτοβάθμια εκπαίδευση ως γνωστικού εργαλείου, για τη φιλοσοφία και την πρακτική των προγραμμάτων επιμόρφωσης των εκπαιδευτικών στη χρήση των ΝΤ στο σχολείο, που έχουν μέχρι τώρα υλοποιηθεί κ.ά.
Τα θέματα αυτά δεν είναι ανεξάρτητα μεταξύ τους, γι' αυτό και στην πράξη οι παρανοήσεις και τα λάθη είναι πολλές φορές αλληλένδετα και αλυσιδωτά. Η κριτική υποστηρίζεται επίσης και από δημοσιεύσεις πολλών άλλων εμπειρογνωμόνων σ' αυτό το διεπιστημονικό τομέα και βασίζεται στη μελέτη της σχετικής βιβλιογραφίας σε διεθνές επίπεδο, αλλά και στην εμπειρία μας από την πράξη, καθώς επίσης και από τα αποτελέσματα καινοτόμων εφαρμογών σε πιλοτικά, εκπαιδευτικά και επιμορφωτικά προγράμματα που έχουμε πραγματοποιήσει με τη συνεργασία έμπειρων συναδέλφων.
Προβληματισμός σχετικά με τη διαδικασία και με ορισμένες μεθόδους αξιολόγησης του εκπαιδευτικού λογισμικού. Το θέμα μας αυτή τη φορά αναφέρεται στο πρόβλημα της δημιουργίας εκπαιδευτικού λογισμικού με πρωτοβουλία της πολιτείας για την κάλυψη του υπάρχοντος κενού στην ύπαρξη αξιόλογου εκπαιδευτικού λογισμικού και για την υποβοήθηση της διδασκαλίας με τη χρήση των ΝΤ σε διάφορες γνωστικές και διεπιστημονικές περιοχές του αναλυτικού προγράμματος στα σχολεία της πρωτοβάθμιας και δευτεροβάθμιας εκπαίδευσης.
Τυχαίνει να έχω συμμετάσχει σε τέτοιου είδους διαδικασίες και στο παρελθόν και έχω διαμορφώσει άποψη σχετικά με τα προβλήματα που υπάρχουν, αλλά και με τις δομικές και λειτουργικές αδυναμίες του συστήματος παραγωγής και ανάπτυξης εκπαιδευτικού λογισμικού από τους επίσημους φορείς (δηλαδή το ΠΙ και το ΥΠΕΠΘ) στη χώρα μας. Μερικά από τα προβλήματα αυτά τα είχαμε προβλέψει με παλιότερα δημοσιεύματα, με τα οποία επισημαίναμε την αναγκαιότητα της έγκαιρης και συνολικής θεώρησης του όλου ζητήματος της εισαγωγής και ένταξης των ΝΤ στην εκπαίδευση (ένα μέρος του οποίου αφορά και στη δημιουργία ή επιλογή κατάλληλου εκπαιδευτικού λογισμικού) τόσο σε επίπεδο επιστημονικό και παιδαγωγικό, όσο και σε επίπεδο θεσμικό, έτσι ώστε, να δημιουργηθεί επί τέλους και στη χώρα μας ένας ολοκληρωμένος εκπαιδευτικός σχεδιασμός για όλες τις βαθμίδες της εκπαίδευσης και για όλες τις διαστάσεις του εγχειρήματος και να αρχίσει να οικοδομείται σταδιακά, αλλά βάσει ενός καλοσχεδιασμένου προγραμματισμού, μία παράδοση τεχνολογική, εκπαιδευτική, μορφωτική και πολιτιστική με μία λογική προοπτική χρόνου, που θα επιτρέπει την υιοθέτηση μιας επιστημονικής και ερευνητικής μεθοδολογίας, με τις αναγκαίες αναθεωρήσεις, αξιολογήσεις και διορθώσεις των αναπόφευκτων, σ' αυτές τις περιπτώσεις, λαθών και παρερμηνειών της πραγματικότητας κατά το στάδιο του σχεδιασμού ή της υλοποίησης των διαφόρων προγραμμάτων[1] [1] .
Το γεγονός λοιπόν ότι λόγω της σημειωθείσας καθυστέρησης βρισκόμαστε τώρα ακόμη σε πρώιμο στάδιο στο συγκεκριμένο τομέα στη χώρα μας (αφού το βάρος έπεσε κυρίως στην εισαγωγή της πληροφορικής στο σχολείο ως ξεχωριστού γνωστικού αντικειμένου) είναι από μόνο του ένα πρόβλημα. Ένα άλλο πρόβλημα που αντιμετωπίζεται αυτή τη στιγμή, είναι η σπανιότητα των εμπειρογνωμόνων στην κατασκευή και αξιολόγηση «ποιοτικού» εκπαιδευτικού λογισμικού, λόγω του ότι πρόκειται για ένα καινούριο αντικείμενο, το οποίο είναι ανάγκη να προσεγγίζεται ταυτόχρονα από την τεχνολογική διάσταση, την παιδαγωγική, εκείνη του ειδικού γνωστικού αντικειμένου, αλλά και τη διακλαδική διάσταση, αφού πολύ συχνά το τελικό προϊόν εμπλέκει και θέματα αισθητικής από τη σκοπιά των διαφόρων τεχνών.
Το πρόβλημα αυτό έχει αντίκτυπο και στο στάδιο της αξιολόγησης και επιλογής του καλύτερου εκπαιδευτικού λογισμικού, που θα προταθεί επισήμως ή θα υιοθετηθεί από τους εκπαιδευτικούς για σχολική χρήση. Τα χρησιμοποιούμενα κριτήρια αξιολόγησης είναι επίσης πάρα πολλά, ενώ συγχρόνως είναι πολύ δύσκολο να αξιολογηθεί δίκαια ένα καλό εκπαιδευτικό λογισμικό με τη χρήση τυποποιημένων εργαλείων αξιολόγησης, όπως είναι τα ειδικά κατασκευασμένα κλειστά ερωτηματολόγια και οι διάφορες κλίμακες αθροιστικής μέτρησης των χαρακτηριστικών του.
Γενικά, στη διεθνή βιβλιογραφία διατυπώνονται πολλές επιφυλάξεις για την αξία και εγκυρότητα των τυποποιημένων ερωτηματολογίων αξιολόγησης (Squires, 1994). Σε σχετικές έρευνες αποδείχτηκε ότι θαυμάσια και καταξιωμένα στην εκπαιδευτική πράξη λογισμικά πήραν τη μικρότερη βαθμολογία.
Ο Winship 1986 [2][2] παραδείγματος χάριν, επισημαίνει ότι για ένα σύνθετο έργο, όπως είναι το εκπαιδευτικό λογισμικό, η κατασκευή ενός πίνακα με κριτήρια και ερωτήσεις, που βαθμολογούνται με τον ίδιο τρόπο από αυτούς που απαντούν και έχουν το ίδιο βάρος στη γενική βαθμολογία, έχει αρκετά μειονεκτήματα και ως εκτούτου αυτός δεν είναι και τόσο ευαίσθητο και δίκαιο εργαλείο αξιολόγησης. Για παράδειγμα, το αν έχει ωραία χρώματα και γραφικά μία βάση δεδομένων ή το λογισμικό φύλλο ίσως να μην έχει τόση σημασία, όσο άλλα χαρακτηριστικά ή άλλες δυνατότητες με μαθησιακά πλεονεκτήματα.
Μία άλλη αδυναμία, που παρουσιάζεται, οφείλεται στο γεγονός ότι τα κριτήρια αξιολόγησης στους πίνακες επιλογής δεν λαμβάνουν υπόψη τη διαφορετικότητα των στρατηγικών της διδασκαλίας. Έτσι, ένα πρόγραμμα που δεν χαρακτηρίζεται από πρωτοτυπία και φαντασία, το οποίο είναι καλό μόνο για επανάληψη και άσκηση πάνω σε διδαγμένη ύλη, αλλά που τυχαίνει να διαθέτει ωραία γραφικά, να δίνει άμεση ανατροφοδότηση και να κρατά φάκελο με τις επιδόσεις του μαθητή, μπορεί να αποσπάσει υψηλή βαθμολογία, αν χρησιμοποιήσει κανείς πολλούς από τους τυποποιημένους αυτούς πίνακες, που συχνά δεν διαθέτουν καν κριτήρια αξιολόγησης που αναφέρονται σε ανώτερα επίπεδα νοητικών διεργασιών, όπως μπορεί να συμβεί, για παράδειγμα, με τη διδασκαλία της έκθεσης-έκφρασης, που χρησιμοποιεί μαθητοκεντρικά και διαλογικά σενάρια αυθεντικής και βιωματικής μάθησης (Milleran).
Γενικά σχόλια
Προβληματικά φαινόμενα, όπως αυτά που αναφέρθηκαν πιο πάνω, διαπιστώσαμε (ως κριτές) και κατά τη διάρκεια της διαδικασίας της κρίσης ορισμένων δειγμάτων που κατατέθηκαν από τους υποψηφίους, η οποία απέβλεπε στην αξιολογική κατάταξή τους, προκειμένου να επιλεγεί το καλύτερο[3] [3] .
Η πιθανότητα να αποδειχθούν τελικά λιγοστά τα εκπαιδευτικά εκείνα λογισμικά που είναι στην πραγματικότητα αξιόλογα δεν είναι ευκαταφρόνητη, όπως έχει συμβεί και σε άλλες χώρες στο παρελθόν. Από εκθέσεις του ΟΟΣΑ τη δεκαετία του 1980, για παράδειγμα, βρέθηκε, μετά από σχετική έρευνα, ότι μόνο το 7% των προϊόντων που αξιολογήθηκαν κρίθηκε κατάλληλο και συστηνόταν ανεπιφύλακτα για σχολική χρήση. Σε νεότερη έκθεση του ΟΟΣΑ τη δεκαετία του ΄90 το ποσοστό του καλού λογισμικού αυξήθηκε. Βέβαια η έρευνα έγινε σε χώρες, όπου από τις αρχές της δεκαετίας του ΄80 ασχολούνται τα Πανεπιστήμια και τα Ερευνητικά Κέντρα με το νέο αυτό τομέα της εκπαιδευτικής τεχνολογίας και της εφαρμοσμένης παιδαγωγικής και όπου η αναζήτηση ενός αξιόπιστου συστήματος αξιολόγησης του εκπαιδευτικού λογισμικού προχωρεί με πολλή προσοχή, αφού έχει γίνει ήδη κατανοητό ότι η αξιολόγηση και η πιστοποίηση της ποιότητας ή καταλληλότητας του υπό κρίση εκπαιδευτικού λογισμικού, που προορίζεται για τα σχολεία δεν είναι καθόλου απλό ζήτημα: δεν υπάρχουν συνταγές, με βάση τις οποίες μπορεί να εκτιμήσει κανείς σε ποιο βαθμό ένα εκπαιδευτικό λογισμικό διαθέτει τα επιθυμητά χαρακτηριστικά, ούτε και τεχνικές «passe partout», που να μπορούν να συλλάβουν την αξία όλων των ειδών λογισμικού, με σύγκριση ανόμοιων πραγμάτων.
Η σημασία του κάθε κριτηρίου μπορεί επίσης να διαφέρει ανάλογα με την κατηγορία του λογισμικού, από το ένα γνωστικό αντικείμενο στο άλλο, από τον ένα στόχο στον άλλο. (Για παράδειγμα, άλλα πράγματα είναι σημαντικά, όταν στόχος είναι η αισθητική καλλιέργεια των μαθητών στο πλαίσιο της λογοτεχνίας και άλλα όταν στόχος είναι η οικοδόμηση μιας μαθηματικής έννοιας, παρόλο που θα μπορούσε κανείς να τα συνδυάσει όλα μαζί).
Όπως επισημαίνεται στη διεθνή βιβλιογραφία[4] [Blease 1988 & Winship 1988] υπάρχουν περιπτώσεις λογισμικού, που με τυποποιημένες τεχνικές, όπως είναι ο προκατασκευασμένος πίνακας επιλογών (checklist), πήραν χαμηλή συνολική βαθμολογία, επειδή δεν διέθεταν ορισμένα δημοφιλή τεχνικά χαρακτηριστικά, ενώ στην πραγματικότητα είχαν καταξιωθεί στην πράξη σε εθνικό επίπεδο από τους εκπαιδευτικούς, διότι αυτά δημιουργούσαν ένα εξαιρετικά παρωθητικό και πλούσιο σε αλληλεπιδράσεις και δημιουργικές διεργασίες περιβάλλον μέσα στην τάξη, ακόμη και έξω από τη χρήση του υπολογιστή.
Η αξία τους πολλές φορές αποδιδόταν στην εμπνευσμένη παιδαγωγική τους χρήση και στη συγκριτική τους υπεροχή λόγω της δυνατότητας των εκπαιδευτικών να το χρησιμοποιήσουν με παιδαγωγική ευαισθησία και φαντασία, περισσότερο, και λιγότερο στην κάλυψη τυπικών κριτηρίων ή προκατασκευασμένων χαρακτηριστικών, που εκτιμώνται σωρευτικά. Τι έχει γίνει λοιπόν στη χώρα μας με το θέμα της παραγωγής και αξιολόγησης του εκπαιδευτικού λογισμικού;
Σε ένα ερευνητικό πανευρωπαϊκό πρόγραμμα για το σύστημα παραγωγής, αξιολόγησης και ένταξης του εκπαιδευτικού λογισμικού στην εκπαιδευτική διαδικασία (στο οποίο ο υποφαινόμενος εκπροσωπούσε τη χώρα μας), η Ελλάδα δεν είχε την περασμένη δεκαετία να δείξει κάτι το συστηματικό και αξιόλογο, εκτός από ορισμένες ερευνητικές προσπάθειες σε πανεπιστημιακά τμήματα[4]. Σήμερα όμως υπάρχουν αρκετές αξιόλογες προσπάθειες που γίνονται στον πανεπιστημιακό, κυρίως, χώρο και σε ελάχιστα ερευνητικά ινστιτούτα, οι οποίες όμως άλλοτε δεν ολοκληρώνονται ελλείψει οικονομικής υποστήριξης και συνέχειας στην εκπαιδευτική πολιτική, είτε παραμένουν αναξιοποίητες, πράγμα που πολύ συχνά οφείλεται στην πολιτική μας κουλτούρα, γενικότερα, που μερικές φορές χρησιμοποιεί αναχρονιστικές στρατηγικές και μεθόδους κατά τη χάραξη της εκπαιδευτικής πολιτικής [5]
Μια κριτική ματιά στην επικαιρότητα Έχοντας υπόψη τα παραπάνω, προβληματιστήκαμε επίσης αρκετά και με αφορμή τις διαδικασίες της πρόσφατης προκήρυξης που έγινε από το Παιδαγωγικό Ινστιτούτο για τη συγγραφή σχολικών εγχειριδίων και την παραγωγή αντίστοιχου εκπαιδευτικού λογισμικού για όλα τα γνωστικά αντικείμενα. Οι επιφυλάξεις μας βέβαια δεν αφορούν στο ελάχιστο ζητήματα τυπικής νομιμότητας και διαφάνειας. Το αντίθετο μάλιστα: θεωρούμε ότι στην προσπάθειά τους να προφυλαχθούν τα στελέχη του από τυχόν παγίδες ή αιχμές σχετικά με τα προσωπικά τους κίνητρα, την εντιμότητα και την αμεροληψία τους (κάτι που δεν θα μπορούσαν να αποδείξουν, αν το ΠΙ προέβαινε σε αναθέσεις έργου) φθάνουν σε ένα άλλο άκρο, σε μία κατάσταση, δηλαδή, διακινδύνευσης της παιδαγωγικής αξίας των τελικών προϊόντων χάριν της διαφάνειας.
Μέσα από μια τόσο μεγάλη, γρήγορη και μαζική παραγωγή είναι πολύ πιθανό να υποβληθούν και υποψηφιότητες από ομάδες επιστημόνων ή από ιδιωτικές επιχειρήσεις που τα τελευταία χρόνια έχουν αναπτύξει μεγάλη δραστηριότητα στην υποβολή προτάσεων σε επιδοτούμενα ευρωπαϊκά προγράμματα και είναι σε θέση να ανταποκρίνονται με μεγάλη ταχύτητα και με επιχειρησιακό πνεύμα σε τέτοιου είδους προκηρύξεις, μερικές φορές ποντάροντας και στην τύχη με την έννοια ότι αν υποβάλουν πολλά προγράμματα, κάποιο από τα δικά τους θα σταθεί τυχερό, έστω και αν δεν είναι αρκετά καλό, ελλείψει άλλων καλύτερων ή λιγότερο καλά επεξεργασμένων, με δεδομένα τα στενά χρονικά όρια των προθεσμιών που συνήθως δίνονται.
Αυτό έχει παρατηρηθεί σε προηγούμενες «ανανεώσεις» σχολικών εγχειριδίων, που, κατά την άποψη πολλών εκπαιδευτικών, τυχαίνει να καταλήγουν σε χειρότερα βιβλία, από ό,τι ήταν τα παλιά. Σύμφωνα λοιπόν με τη νέα προκήρυξη (άνοιξη του 2003), προβλεπόταν παράλληλα με τη δημιουργία νέων σχολικών εγχειριδίων και η κατασκευή ενός συνοδευτικού εκπαιδευτικού λογισμικού. Προκειμένου να γίνει επιλογή ανάμεσα στις προτάσεις των υποψηφίων θα έπρεπε να κατατεθεί έως τις 20 Αυγούστου δείγμα δουλειάς, για την αξιολόγηση του οποίου επιλέχθηκε με κλήρωση μετά από σχετική προκήρυξη ένας αριθμός ανεξάρτητων (και χωρίς μεταξύ τους συνεργασία) κριτών. Όλοι οι κριτές παρευρέθηκαν σε ενημερωτική ομιλία που έγινε από τον Πρόεδρο και τον υπεύθυνο Αντιπρόεδρο του ΠΙ και προμηθεύτηκαν γραπτές οδηγίες. Στις οδηγίες συμπεριλαμβανόταν ο ενδεδειγμένος, και κοινός για όλα τα γνωστικά αντικείμενα, πίνακας αξιολόγησης που καθόριζε τα αξιολογικά κριτήρια, καθώς και την ξεχωριστή για το κάθε κριτήριο κλίμακα αξιολόγησης, δεδομένου ότι δεν είχαν όλα την ίδια βαρύτητα στο συνολικό αποτέλεσμα.
Παρακάτω παραθέτουμε ένα συνοπτικό κατάλογο αυτών των κριτηρίων (στον αυθεντικό πίνακα τα κριτήρια αυτά αναλύονται και εξειδικεύονται περισσότερο), μαζί με την ανώτατη βαθμολογία που θα μπορούσε να πάρει το καθένα χωριστά. Όπως φαίνεται από τον παρακάτω κατάλογο, την υψηλότερη βαθμολογία την έχει το κριτήριο της συμβατότητας με τα επίσημα αναλυτικά προγράμματα, παρόλο που αυτό ίσως δεν θα έπρεπε να συμπεριλαμβάνεται στον κατάλογο των κριτηρίων, αλλά να αποτελεί προϋπόθεση, προκειμένου να τεθεί το δείγμα λογισμικού υπό αξιολόγηση (αφού αποδόθηκε στο κριτήριο αυτό τόση σημασία, αν και είναι δυνατόν να υπάρχουν πολύ σημαντικοί στόχοι και θέματα που οι αρμόδιοι σχεδιαστές του ΠΙ – άνθρωποι είναι και αυτοί – να μην έχουν καλύψει).
Όλα μαζί τα υπόλοιπα – τεχνικά – ως επί το πλείστον – χαρακτηριστικά βαθμολογούνται με 35, ενώ το κριτήριο της ποιοτικής αλληλεπίδρασης με το χρήστη βαθμολογείται με άριστα το 10 και η διδακτική και παιδαγωγική καταλληλότητα του λογισμικού, που αναφέρεται σε πολλά και ποικίλα στοιχεία, με άριστα το 20.
ΚΡΙΤΗΡΙΑ ΑΞΙΟΛΟΓΗΣΗΣ ΜΟΝΑΔΕΣ 1. Περιεχόμενο (εδώ κυριαρχεί το κριτήριο της εναρμόνισης με το περιεχόμενο των επισήμων αναλυτικών προγραμμάτων) 35 2. Διδακτική και Παιδαγωγική καταλληλότητα 20 3. Βαθμός αλληλεπίδρασης με το χρήστη 10 4. Δομή – Οργάνωση 10 5. Αισθητική 10 6. Τεχνική αρτιότητα 10 7. Οδηγός χρήσης λογισμικού 5 Σύνολο μονάδων 100 Φέρουμε τώρα ένα πιθανό παράδειγμα βαθμολογίας ενός υποθετικού λογισμικού: ας υποθέσουμε ότι ένα λογισμικό είναι εντός περιεχομένου και παίρνει πολύ καλή βαθμολογία γι’ αυτό, δηλαδή 35 μονάδες, για την αλληλεπίδραση με το χρήστη – επειδή είναι συμπεριφοριστικού τύπου - παίρνει 7 μονάδες, για τη δομή του 10, για την αισθητική του 9, για την τεχνική του αρτιότητα 10 και για τον οδηγό χρήσης του 5 μονάδες.
Ας υποθέσουμε επίσης, χάριν του παραδείγματος, ότι το λογισμικό αυτό υστερεί στο σημαντικότερο: δηλαδή ως προς τη διδακτική και παιδαγωγική καταλληλότητά του, γι’ αυτό και παίρνει μόνο 2 επί πλέον μονάδες. Σ’ αυτή την περίπτωση, η συνολική του βαθμολογία θα είναι 78 μονάδες με άριστα το 100. Το λογισμικό αυτό, με τη χρηματοδότηση των 90,000 ευρώ, ίσως να είναι διδακτικά και παιδαγωγικά ακατάλληλο, αυτό, εντούτοις, θα έχει υψηλή βαθμολογία και είναι πιθανό να εγκριθεί για να διανεμηθεί στα σχολεία! Με το νόμο των πιθανοτήτων φυσικά, είναι βέβαιο ότι μεταξύ των υποψηφιοτήτων θα υπάρχουν και αξιόλογες προτάσεις, που τελικά θα παραγάγουν αξιόλογο λογισμικό σε κάποιους από τους τομείς.
Όπως ήδη προαναφέρθηκε, τα τελευταία χρόνια έχει αναπτυχθεί αξιόλογη δραστηριότητα στο χώρο του πανεπιστημίου (όπου διδάσκεται και μελετάται – κάτω από διαφορετικό ίσως πρίσμα ή με διαφορετική έμφαση – ο τομέας του σχεδιασμού και της αξιολόγησης εκπαιδευτικού λογισμικού) και έχουν δημιουργηθεί επιστημονικές ομάδες συνεργασίας που παρακολουθούν τις διεθνείς εξελίξεις, αναπτύσσουν εκπαιδευτικό λογισμικό και ακολουθούν την ερευνητική μεθοδολογία κατά την ανάπτυξη και αξιολόγησή του, καθώς και κατά την εφαρμογή του στις πραγματικές συνθήκες στο διδακτικό πλαίσιο της εκπαιδευτικής πράξης, συχνά με την υποστήριξη και επιδότηση διαφόρων ευρωπαϊκών προγραμμάτων.
Ελπίζουμε λοιπόν να έχουν συμμετάσχει πολλές τέτοιες ομάδες, καθώς και άλλου είδους υποψήφιοι, που θα τους δοθεί η ευκαιρία να δημιουργήσουν, έστω και για πρώτη φορά, καλό λογισμικό. Είναι όμως και πολύ πιθανό ενδιαφέρουσες υποψηφιότητες να μην εγκρίθηκαν, λόγω της ενδεχομένως μικρής εμπειρίας ορισμένων κριτών (μου είναι δύσκολο να φανταστώ πώς ξαφνικά βρέθηκαν εκατοντάδες κριτές σ’ αυτή τη χώρα με την τόσο μικρή παράδοση στο σχετικό τομέα) είτε διότι ίσως ακολουθήθηκε από την πλειονότητα των μελών μιας ομάδας κριτών η διαδικασία που περιγράψαμε πιο πάνω με μια νοοτροπία καθαρά αθροιστική (κάτι που ίσως θα εμποδιζόταν, αν οι κριτές είχαν την ευκαιρία να συναντηθούν επίσημα και να επιχειρηματολογήσουν).
Αν και ευχόμαστε να ευοδωθεί η τεράστια αυτή προσπάθεια του ΠΙ, που κρύβει πίσω της πολύ κόπο και φροντίδα, είναι όμως πολύ πιθανό να δημιουργηθεί και ένας μεγάλος αριθμός λογισμικού, που να μην ικανοποιεί τις προδιαγραφές ενός καλού εκπαιδευτικού λογισμικού και να διανεμηθεί στα σχολεία, ελλείψει καλύτερης υποψηφιότητας. Αυτά τα πακέτα λογισμικού θα έχουν στοιχίσει 90.000 ευρώ το καθένα και ίσως να ζημιώσουν, αντί να ωφελήσουν, την υπόθεση της ένταξης των ΝΤ στην εκπαίδευση, διότι θα ενισχύσουν τα παραδοσιακά της χαρακτηριστικά και θα δημιουργήσουν στη συνείδηση των μαθητών την αντίληψη ότι και η ώρα της δουλειάς με τον υπολογιστή είναι «μία από τα ίδια», δηλαδή εξίσου ανιαρή, αναπαραγωγική και γνωσιοκεντρική. Θα μπορούσε βέβαια να αντιτείνει κανείς ότι σε ένα μεγάλο εγχείρημα, είναι αναμενόμενο να γίνονται και λάθη, ιδιαίτερα όταν υπάρχει χρονική πίεση, ότι κάθε μεθοδολογία έχει τα μειονεκτήματα και τα πλεονεκτήματά της και ότι μόνον όποιος δεν κάνει τίποτα δεν κάνει λάθη. Το επιχείρημα αυτό μας βρίσκει σύμφωνους.
Μερικά σημεία όμως, ανάμεσα σε άλλα, στα οποία νομίζουμε ότι χρειάζεται να δοθεί περισσότερη προσοχή είναι και τα εξής: Πριν από οποιεσδήποτε αναμορφώσεις ή καινοτομίες, να γίνεται έρευνα και συζήτηση σχετικά με την ισχύουσα κατάσταση στην Ελλάδα και στο εξωτερικό, σε συνεργασία με ειδικούς και διεπιστημονικούς πανεπιστημιακούς φορείς. (Ο λόγος που αναφέρομαι στα πανεπιστήμια δεν είναι συντεχνιακός, αλλά βασίζεται στην ανάγκη της συνέργιας των ανθρώπινων πόρων στον ακαδημαϊκό, ερευνητικό και εμπειρικό τομέα). Με βάση την έρευνα αυτή, αλλά και τη σύνθεση των απόψεων των ειδημόνων, πέραν εκείνων του ΠΙ, να τίθενται οι προδιαγραφές για τη βελτίωση των εγχειριδίων και για την παραγωγή ή βελτίωση του εκπαιδευτικού λογισμικού, (Οι γνωμοδοτήσεις και τα ερευνητικά αποτελέσματα είναι καλό να κατατίθενται γραπτώς δεδομένου ότι και οι κρίνοντες θα πρέπει να κρίνονται). Έτσι θα αποφεύγονται οι σπασμωδικές ενέργειες, τα πισωγυρίσματα, ανάλογα με τα εκάστοτε προεδρεία ή τις περιστάσεις, οι πρόχειρες καινοτομίες, που ενδεχομένως να πλήξουν την αξιοπιστία των θεσμών κ.ά.
Μία «έρευνα αγοράς» στον ελληνικό και διεθνή χώρο σχετικά με το υπάρχον έτοιμο εκπαιδευτικό λογισμικό, που έχει καταξιωθεί και παρουσιάζει ενδιαφέρον, ίσως θα ήταν καλό να γίνεται, ώστε να ανατίθεται στους δημιουργούς του το έργο της προσαρμογής/βελτίωσής του ή της κατά παραγγελία δημιουργίας νέου, παράλληλα με την προκήρυξη που γίνεται για την εκδήλωση ενδιαφέροντος με το συνήθη «αδιάβλητο» τρόπο. Με την έρευνα αυτή, την οποία μπορεί να κάνει το ίδιο το ΠΙ ή να την αναθέσει σε άλλους, οι έχοντες τη δυνατότητα να εισηγούνται ή να παίρνουν αποφάσεις εκπαιδευτικής πολιτικής θα είναι σε θέση να διαμορφώνουν μία κατά το δυνατόν πληρέστερη εικόνα για τις εξελίξεις στον τομέα της παραγωγής εκπαιδευτικού λογισμικού διεθνώς, ώστε να αποφεύγονται και οι τυχόν επικαλύψεις έργου που απορροφούν πολύτιμους πόρους. Ο λόγος όμως για τον οποίο επιχειρήσαμε αυτήν εδώ τη δημόσια κριτική δεν σχετίζεται τόσο με τα προαναφερθέντα ζητήματα μεθοδολογίας που έχουν θιγεί, όσο με εκείνο που εδώ και πολλά χρόνια επισημαίνουμε και θεωρούμε ότι χρειάζεται να αλλάξει στην υιοθετούμενη στρατηγική όσων ηγούνται και εκπροσωπούν τους εκπαιδευτικούς θεσμούς στη χώρα μας:
Η επικέντρωση στο πρόβλημα της διδακτέας ύλης, στο εξεταστικό και αξιολογικό πρόβλημα, καθώς και στην αναμόρφωση της εκπαιδευτικής δομής μονοπωλούν σχεδόν το ενδιαφέρον των περισσότερων μεταρρυθμιστικών προσπαθειών του ΥΠΕΠΘ και του ΠΙ, και απορροφούν, εκτός από ελάχιστες εξαιρέσεις, το μεγαλύτερο μερίδιο κονδυλίων που διατίθενται από τα - επιδοτούμενα ή μη - εκπαιδευτικά προγράμματα. Για τον εκπαιδευτικό, δηλαδή τον κυριότερο και ουσιαστικότερο παράγοντα επιτυχίας κάθε εκπαιδευτικής αλλαγής ή μεταρρύθμισης, συνήθως θεωρείται αρκετό να δαπανώνται κονδύλια για ενημέρωση ή επιμόρφωση λίγων ημερών και δεν του παρέχεται πολύπλευρη, ικανοποιητική και εμπειρική συνεχιζόμενη εκπαίδευση, καθώς και συμβουλευτική υποστήριξη, ώστε να είναι σε θέση να αναπτύσσει κριτικές, δημιουργικές και οργανωτικές δεξιότητες και εμπειρίες, με βάση τις οποίες θα βελτιώνεται επαγγελματικά, θα μπορεί να αναλαμβάνει παιδαγωγικές πρωτοβουλίες και θα φέρει σε πέρας μετασχηματιστικές εκπαιδευτικές καινοτομίες, όπως η εφαρμογή της διαθεματικότητας, οι διερευνητικές, συνεργατικές και οικολογικές στρατηγικές διδασκαλίας, η αξιοποίηση των Νέων Τεχνολογιών, η ανοιχτή εκπαίδευση, η εκπαίδευση από απόσταση κ.ά.
Ακόμη και το έτοιμο εκπαιδευτικό λογισμικό, χωρίς την επιμόρφωση των εκπαιδευτικών, η οποία θα συνδυάζει την τεχνολογική με την παιδαγωγική και βιωματική εκπαίδευση, δεν είναι εύκολο να αξιοποιηθεί κατάλληλα στο σχολείο, ιδιαίτερα στη δευτεροβάθμια εκπαίδευση, όπου οι εκπαιδευτικοί διαθέτουν περιορισμένη παιδαγωγική και υποστηριζόμενη από εφαρμογές κατάρτιση, έχουν γαλουχηθεί με τη νοοτροπία της στενής εξειδίκευσης, αντιμετωπίζουν περισσότερους χρονικούς περιορισμούς στο ωρολόγιο πρόγραμμά τους κ.ά.
Υποσημειώσεις
[1] Αντ' αυτού, έχουμε γίνει μάρτυρες αποσπασματικών (χωρίς μάλιστα τη συμμετοχή εκπροσώπων από την ειδικότητα του νέου επιστημονικού τομέα, με διάφορες ονομασίες, που συνδυάζει την Πληροφορική με την Εκπαίδευση και τα Παιδαγωγικά), καθώς και ευκαιριακών και σπασμωδικών (κάτω από την πίεση και, μερικές φορές, τη στενώς εννοούμενη «εκμετάλλευση» ή διανομή των χορηγούμενων ευρωπαϊκών κονδυλίων) κινήσεων εκ μέρους των υπευθύνων εκπαιδευτικών φορέων, η οποία συνήθως συνοδεύεται και από την άλλοτε επιτυχή και άλλοτε ανεπιτυχή - ως προς την ποιότητα και την αποτελεσματικότητα της παραγωγής τους - παρέμβαση των αναδυόμενων οργανισμών του ιδιωτικού και ημι-δημόσιου τομέα, οι οποίοι νομιμοποιούνται μεν να διακατέχονται και από κίνητρα κερδοσκοπικά, δεν καταξιώνονται όμως εφόσον λειτουργούν αντιγράφοντας το στυλ, τις αδυναμίες και τα λάθη των κρατικών φορέων και των συντηρητικών δομών του δημοσίου
[2] Για περισσότερες λεπτομέρειες βλ. «Μάθηση και Διδασκαλία στην Εποχή της Πληροφορίας» Α΄ Τόμος, 7ο Κεφάλαιο.
[3] Όπως κάθε υπουργός Παιδείας, έτσι και κάθε νέος πρόεδρος του ΠΙ επιδιώκει να συνδέσει τη θητεία του με αλλαγές βιβλίων, ιδιαίτερα με αφορμή την ανάγκη απορρόφησης κοινοτικών κονδυλίων, χωρίς να λαμβάνει υπόψη ότι ορισμένα από τα υπάρχοντα βιβλία θα μπορούσε να είναι εξίσου καλά ή και πολύ καλύτερα από τα καινούργια. Ελπίζουμε να μη συμβεί αυτή τη φορά το ίδιο και στην παραγωγή του εκπαιδευτικού λογισμικού, ώστε να αποφευχθεί η δαπάνη τεράστιων χρηματικών ποσών (αφού για την παραγωγή ενός λογισμικού δαπανώνται 90,000 ευρώ) σε προϊόντα που εξ αρχής φάνηκαν ότι δεν είναι αρκετά αξιόλογα, χάριν της υστεροφημίας και της «ευημερίας των αριθμών», που αφορά στην ποσότητα των λογισμικών που παράχθηκαν
[4] Evaluation methodology for educational multimedia application
[5] Συχνά παρομοιάζουμε τον τρόπο λήψης αποφάσεων σε θέματα Παιδείας με τον τρόπο που λειτουργούν στην οικονομία οι αναχρονιστικές οικογενειακές επιχειρήσεις. Αν και κάπως σκληρή αυτή η παρομοίωση, μερικές φορές φαίνεται να ισχύει, κάτι που οφείλεται σε πολλούς λόγους, οι οποίοι όμως δεν είναι της παρούσης να αναφερθούν και να αναλυθούν. Είναι γεγονός βέβαια ότι ορισμένοι πανεπιστημιακοί επιλέγονται και συμμετέχουν στις αποφάσεις του ΥΠΕΠΘ και του ΠΙ, αυτό όμως δεν σημαίνει ότι έχει διαμορφωθεί ένα σύστημα αξιοποίησης της κατακτημένης εμπειρογνωμοσύνης στη χώρα μας, ούτε και ότι κάθε φορά διασφαλίζεται η διεπιστημονική και διακλαδική σύνθεση των απόψεων, που είναι συχνά αναγκαία, αφού τα θέματα της παιδείας δεν είναι απλά και μονοσήμαντα. Από την κριτική αυτή δεν εξαιρούνται βεβαίως και τα ίδια τα πανεπιστήμια, αλλά περί αυτού θα γίνει λόγος σε επόμενη συζήτηση.
Βιβλιογραφικές αναφορές
- Blease, D. (1988) «Choosing Educational Software, in Jones , A. And Scrimshaw, P. (eds) Computers in Education 5-13,
- Milton Keynes, Open University Press, pp. 277-99. Miller, L. and Burnett, J.D. (1986).
- Theoretical Considerations in Selecting Language Arts Software» Computers and Education, 10, (1), pp. 159-65.
- Squires D., and McDougall A. (1994). Choosing and Using Educational Software: A Teacher's Guide. London: The Falmer Press.
- Whinship, J. (1988) «Software Review or Evaluation: Are They Both Roses Or is One a Lemon?». Proceedings of the Australian Computer Education Conference, Perth, Educational Computing Association of Western Australian Conference, pp. 364-7
- Ράπτης, Α. και Ράπτη, Α. (2003) «Μάθηση και Διδασκαλία στην Εποχή της Πληροφορίας» Ο προβληματισμός που τίθεται σ'αυτήν εδώ τη συζήτηση δεν αφορά ένα ζήτημα απλά θεωρητικό ή με απόμακρο κοινωνικό ενδιαφέρον. Έχει άμεσα πρακτικό ενδιαφέρον, αφού με τις συγκεκριμένες επιλογές και πρακτικές μας χτίζεται η προσωπικότητα των παιδιών μας, επηρεάζεται η νοοτροπία μιας ολόκληρης - τουλάχιστον - γενιάς. Γι' αυτό, αν και ορισμένα πράγματα για λόγους έλλειψης εμπειρίας και υποδομής, έχουν αρχίσει στραβά στη χώρα μας σε επιτελικό επίπεδο, πιστεύουμε ότι μπορούν να διορθωθούν, και να μην κατασπαταληθούν άλλοι ανθρώπινοι και υλικοί πόροι. Επίσης για μια ακόμη φορά αγνοείται και περιθωροποιείται ο παράγοντας δάσκαλος, ενώ είναι γενικά παραδεκτό ότι η οποιαδήποτε χρήση των γνωστικών και επικοινωνιακών εργαλείων που παρέχει ο υπολογιστής δεν είναι εύκολη και αυτονόητα εποικοδομητική. Ο δάσκαλος είναι εκείνος, που με τον κατάλληλο σχεδιασμό, τις ιδέες και τις μεθόδους του, την ενθάρρυνση, την επινόηση κινήτρων, τις ερωτήσεις, το συντονισμό της συζήτησης και την υποβοήθηση των παιδιών που «σκαλώνουν» (και προπάντων με την κατανόηση και την αξιολόγηση του παιδαγωγικού νοήματος των διαφόρων δραστηριοτήτων) θα κατορθώσει να μετατρέψει ένα άψυχο μηχάνημα σε εργαλείο γνωστικής ανάπτυξης. Θα επαναλάβουμε για άλλη μια φορά αυτό που τόνισε ο Richard Noss του Institute of Eduacation του Λονδίνου: αν ξοδεύουμε ένα χρηματικό ποσό για την αγορά υπολογιστών και λογισμικού στο σχολείο, τότε θα πρέπει να δαπανήουμε το δεκαπλάσιο για την επιμόρφωση των εκπαιδευτικών.