Disseny de rúbriques per a l’avaluació de consultes guiades a corpus online sobre qüestions de llengua i lingüística alemanyes

Coordinació: 
Calvet Creizet, Mireia
Participants: 
Marta P. Fernandez-Villanueva Llane, Oliver Strunk, Marta Panades Guerrero, Anna Buj Casanova
Ensenyament/s: 
Grau de Llengües i Literatures Modernes (Alemany)
Ensenyament/s: 
Grau d’Empresa Internacional (Alemany)
Ensenyament/s: 
Grau en Turisme
Objectius inicials relacionats amb la millora dels aprenentatges de l'alumnat implicat: 

L’actuació consisteix en dissenyar una sèrie de rúbriques per a l’avaluació continuada d’exercicis de consulta guiada a corpus online de varietats funcionals de l’alemany contemporani i de varietats històriques de l’alemany.

Amb unes rúbriques confeccionades a partir de les necessitats, les experiències i els objectius d’un conjunt prou ampli d’assignatures implicades com per a assegurar-ne la presència transversal almenys en tres Graus universitaris amb Alemany com a Llengua Estrangera, es volen promoure processos d’autoregulació per part dels estudiants i de coordinació avaluable per part dels responsables de les assignatures implicades. 

Es vol oferir als estudiants instruments per planificar consultes guiades a corpus online i per mesurar de manera escalada i ponderada l’assoliment dels aprenentatges associats a aquestes consultes.

Al mateix temps els instruments en format de rúbriques han de permetre als estudiants participar en l’apropiació, l’aplicació i la reconceptualització, si cal, dels criteris d’avaluació. En aquest sentit es buscarà que les rúbriques siguin assequibles per a l’alumnat en termes de transparència conceptual, en termes d’acceptació en el marc de les restriccions imposades per la duració i els contextos dels aprenentatges i en termes d’adequació entre els objectius dels aprenentatges i l’avaluació dels coneixements assolits. 

  • Fomentar actituds de documentació i anàlisi lingüística basats en mètodes empírics
  • Reunir un pool de corpus queries exemplars i representatives dels assoliments de les assignatures implicades
  • Confeccionar un sistema de rúbriques entenedor pels estudiants per a mesurar el grau d’assoliment dels objectius de cerques en corpus
  • Donar suport als estudiants a l’hora de seleccionar cerques en corpus determinats d’acord amb finalitats determinades
  • Fomentar un major centrament dels aprenentatges en l’àmbit de la lingüística alemanya en el desenvolupament de la sensibilitat dels estudiants pels contextos d’ús i per la funcionalitat de les actuacions lingüístiques
  • Fomentar un major centrament en la capacitat de descoberta per part dels estudiants dels aprenentatges en l’àmbit de la lingüística històrica de l’alemany, que tradicionalment descansen en arguments d’autoritat
  • Fer més atractiu l’estudi de la història de la llengua alemanya treballant de manera interactiva i individualitzada modes d’accés a bases textuals digitalitzades
  • Fomentar formes d’autoregulació en l’assoliment dels aprenentatges i d’autoavaluació que afavoreixin el desenvolupament autònom i l’aprenentatge col.laboratiu en base a principis de repartiment equitatiu i responsable de les càrregues de temps i d’esforç
  • Afavorir formes d’aprenentatge i d’avaluació entre iguals que foemntin el desenvolupament ple de capacitats diverses en assignatures on coincideixen estudiants de diferents Graus de Filologia

L’objectiu principal de l’acció és promoure un concepte d’exploració mediada de corpus online de varietats històriques de l’alemany i de varietats funcionals de l‘alemany contemporani, en el qual les rúbriques, a banda de ser un instrument d’avaluació, es percebin com a instrument de mediació per part de tots els agents implicats en l’acció d’innovació docent.

Codi del projecte: 
2016PID-UB/001
Avaluació prevista dels resultats (en termes d'aprenentatge de l'alumnat implicat): 

El procediment consisteix en distribuir els indicadors d’avaluació d’acord amb les tres etapes del desenvolupament que s’han exposat a l’apartat 4. Ens proposem explicitar guies d’actuació concretes als instruments de tipus protocol que es descriuen més avall.

Els indicadors de la tercera etapa (indicadors de resultats , veure apartat 4. més amunt) es poden convertir, amb lleugeres modificacions, en indicadors de seguiment, en cas de transferència de l’acció a altres assignatures, altres Graus o altres Ensenyaments.

Instruments d'avaluació proposats per l'observació dels indicadors establerts: 

α1) Instruments: Protocols de coordinació, grups de discussió dels experts

Indicadors per a la priorització de passos que conformen l’acció en el seu conjunt:

[*]       número i tipus de corpus de partida a comparar amb número i tipus de corpus finalment consultats

[*]       número i tipus de cerques de partida per a ser validades i validacions resultants (Tercera etapa a l’apartat 4.) en base al criteri “ajustament entre instrucció, outcome i avaluació rubricada”

Indicadors del seguiment i d’ajustaments derivats de la monitoritzacio del proces de coordinació:

[*]       indicadors de temps i esforços dedicats a recollida d’evidències

[*]       de presa de decisions (instrument: Actes sessions de treball)

[*]       de difusió i monitorització dins l’aula (instrument: Diari de reflexió d’aula)

[*]       de difusió i monitorització entre experts, entre membres de l’equip docent i més enllà: contactes establerts, impulsos fruit de la generació de confiança i de respecte entre experts, entre experts i novells (instrument: diàleg amb experts, tutories amb candidats Treball Final de Grau i Treball Final de Màster, becaris i becàries, etc.)

[*]       número d’entrades generades a partir de les accions descrites en aquest apartat i que conformaran un pool d’ìtems per als qüestionaris i entrevistes

 

α2) Instruments: anàlisi documental d’outcomes a partir de materials generats en cursos anteriors per tal de detectar àrees de convergència entre accions de consultes a corpus mediades per un abanda i accions de consulta directes per l’altra; graella amb panorama d’instruccions i de tasques a punt per pilotar la rúbrica i d’instruccions i tasques encara per ajustar al disseny de les rúbriques

Indicadors:

[*]       relació numèrica entre consultes guiades i consultes no guiades abans de l’acció

[*]       grau d’assoliment i de satisfacció dels docents i dels estudiants amb el disseny i l’avaluació de les tasques guiades i no guiades abans de l’acció

Indicadors per a l’establiment d’una progressió en el grau de dificultat i en la sistematització de les tasques de consulta a corpus en termes de:

[*]       nivell de competència en alemany com a llengua estrangera (A1, A2, B1, B2, C1, C2)

[*]       treball d’aspectes de la lèxico-gramàtica corresponents als 6 àmbits detallats a la Segona etapa de l’apartat 4.

[*]       relació numèrica entre consultes guiades i no guiades sobre aspectes de la lèxico-gramàtica de l’alemany escrit i parlat

[*]       relació numèrica entre consultes guiades i no guiades sobre aspectes de la lèxico-gramàtica de varietats escrites i parlades de l’alemany per a finalitats específiques (comunicació en l’àmbit del turisme, en l’àmbit dels negocis i l’empresa internacionals)

 

α3) Instruments: Anàlisi de necessitats en base a anàlisi documental i en base a observacions de classe i de tutories

Indicadors: posicions en graella de tipologia de tasques recomanades per a cada grup segons prioritat establerta pels docents i fruit de les observacions de classe i de tutories

[*]       número de cerques motivades per tipologia d’unitats de cerca i items que se’n deriven per a les rúbriques

[*]       número de cerques motivades pel format i els continguts de les col.leccions dels corpus online

[*]       número de cerques motivades pel caràcter unilingüe o multilingüe de les col.leccions

 

α4) Instrument: Recopilació d’una bibliografia anotada com a indicador de coordinació entre experts

Indicadors:

[*]       número d’entrades bibliogràfiques anotades

[*]       número d’entrades bibliogràfiques consultades durant el procés

[*]       any de les publicacions

[*]       llengües de les publicacions

[*]       usabilitat del tagging

[*]       usabilitat dels abstracts

 

α5) Instruments: Qüestionaris amb escales Likert ( Boulton 2009)

Indicadors: grau de coneixement, actituds i creences dels estudiants sobre alineació d’instrucció per realització de la tasca i rúbriques d’avaluació prèviament a l’implementació de l’acció (fase de pilotatge)

[*]       qüestionaris sobre estils d’aprenentatge

[*]       qüestionaris sobre digital literacy

[*]       qüestionaris sobre actituds al volant de l’acceptació d’errors, la transigència en pràctica i en la negociació basada en estratègies d’assiag i error

 

α6) Instruments: Protocols d’observació sobre l’exploració de formats de tutorització on podria tenir sentit el treball amb rúbriques

Indicadors:

[*]       número d’accions de peer assessment (amb i sense oportunitat d’ús de rúbriques)

[*]       número d’accions de tutoria professor- estudiant/-s (amb i sense oportunitat d’ús de rúbriques)

[*]       altres accions tutorials abans i després de la realització de les tasques i l’avaluació a l’aula (amb i sense oportunitat d’ús de rúbriques)

 

Indicadors d’avaluació per la Segona etapa del desenvolupament (= β): Avaluació del procés de compilació i descripció d’indicadors per rúbriques i avaluació del procés de pilotatge de les rúbriques

Els intruments d’avaluació per les accions de la Segona etapa (veure apartat 4. d’aquesta documentació) seran l’anàlisi documental, diaris de reflexió de classe, diaris de reflexió prèvies i posteriors a accions tutorials i qüestionaris de satisfacció. Als qüestionaris s’hi inclouran preguntes obertes per a obtenir dades analitzables des del punt de vista qualitatiu.

 

Els indicadors mesurables amb aquests instruments són:

[*]       rapidesa i efectivitat en el procés d’enregistrament i d’obtenció de permisos de consulta a corpus (percepció per part dels estudiants i dels docents)

[*]       accessibilitat dels corpus

[*]       usabilitat de les interfícies dels corpus

[*]       grau d’internacionalització i/o estandardització dels query languages

[*]       grau de satisfacció amb les help options de corpus particulars per a la formulacio d’exemplary queries

[*]       grau d’ajustament de les exemplary queries als 6 àmbits de contiguts de les assignatures implicades (lèxico-gramàtica)

[*]       grau d’ajustament de les exemplary queries als 6 àmbits de contiguts de les assignatures implicades (variació funcional segons contextos de comunicació professional i tècnica o semi-tècnica)

[*]       grau d’ajustament de les exemplary queries als 6 àmbits de contiguts de les assignatures implicades (varietats històriques de l’alemany)

[*]       grau d’ajustament de les exemplary queries als 6 àmbits de contiguts de les assignatures implicades (alemany parlat vs. alemany escrit)

[*]       temps i esforços dedicats a ajustar les queries a plantejaments de problemes

[*]       temps i esforços dedicats a ajustar aspectes del disseny i la formulació de queries amb les rúbriques descriptives 

[*]       claredat de les rúbriques descriptives

[*]       tècniques de contrastació entre els items de les rúbriques descriptives formulats pels docents i items formulats pels estudiants (“traducció” dels items de registre docent a registre usuari, veure Brookhart 2013, pp. 95-96)

[*]       grau de satisfacció dels docents amb la relació entre disseny de rúbriques descriptives i el temps i esforç dedicats

[*]       grau de satisfacció dels estudiants  amb l’ajustament entre l’ús de rúbriques descriptives i temps i esforç dedicats

[*]       grau de satisfacció dels docents en l’ajustament entre rúbriques descriptives i aspectes de la planificació del curs

[*]       grau de satisfacció dels docents en l’ajustament entre rúbriques descriptives i aspectes de la realització del curs

[*]       percepcions dels procediments d’assaig i error durant els diversos ajustaments

[*]       número de tasques que han passat per totes les etapes del procés de pilotatge

[*]       número d’items de rúbrica que han passat per totes les etapes del procés de pilotatge

[*]       circulació dels resultats dels pilotatges entre els docents implicats en l’acció

[*]       propostes de millora de sessions de peer assessment basades en l’aplicació de les rúbriques

[*]       propostes de millora de sessions de tutoria entre docent/-s i estudiant/-s basades en l’aplicació de les rúbriques

 

Indicadors d’avaluació per la Tercera etapa del desenvolupament (= γ): Avaluació dels resultats

Instrument: anàlisi documental

[*]       número total d’estudiants informats de l’acció

[*]       número total d’estudiants participants en fases de pilotatge

[*]       número total d’estudiants participants en situacions d’avaluació real sobre la base de rúbriques dissenyades a tal fi

[*]       número d’agents implicats de manera directa o indirecta en accions o episodis de consulta a agents externs al projecte (bibliotecaris, tècnics, etc.)

 

Instrument: Qüestionaris i anàlisi documental de protocols d’actuació

[*]       grau d’aprofitament percebut pels estudiants del producte rúbriques

[*]       grau d’aprofitament percebut pels docents del producte rúbriques

[*]       número total de consultes a corpus realitzades

[*]       número i tipus de corpus o col.leccions online consultades

[*]       número total de tipus d’exemlary queries executades

[*]       origen de les queries (formulacions individuals, formulacions replicades, formulacions co-construïdes)

[*]       número de consultes executades dins de l’aula

[*]       número de consultes executades fora de l’aula

[*]       número de consultes amb assoliment de l’objectiu o resolució del problema

[*]       número de consultes amb assoliment d’objectius acceptable sense resolució del problema

[*]       número de consultes amb resolució del problema però amb reserves respecte l’assoliment d’objectius

[*]       número de consultes sense resolució del problema ni assoliment d’altres objectius  

[*]       temps dedicat a l’habituació, a la comprensió de les rúbriques dins del grup

[*]       temps dedicat a la transferència d’experiències amb les rúbriques fora del grup

[*]       indicadors d’usabilitat de les guies i els handouts per consultes a corpus mediades

[*]       indicadors d’usabilitat de les guies i els handouts per redactar informes de resultats de consulta per a ser presentats dins dels grups

[*]       número d’informes de resultats presentats dins dels grups (en català)

[*]       número d’informes de resultats presentats dins dels grups (en castellà)

[*]       número d’informes de resultats presentats dins dels grups (en alemany)

[*]       grau de satisfacció/frustració general dels estudiants

[*]       grau d’aprofitament transversal percebut

 

Instrument:  Protocols de recall

[*]       número d’episodis de negociabilitat de les rúbriques reportades a les tutories

Instrument: Entrevistes amb preguntes estructurades que permetin una valoracio crítica del projecte finalitzat (alguns prompts: Possibles raons per les quals determinats usuaris han millorat la seva situació respecte a l’inici del projecte i d’altres no; Percepció que s’han produït ajustaments o desajustaments entre necessitats detectades i assoliments).

El disseny de rúbriques ha de servir per a conèixer si s’han generat actituds i comportaments favorables a la popularització de consultes a corpus, si s’han fomentat argumentacions sobre la comprensió (la producció i la recepció) d’usos lingüístics de l’alemany contemporani en contextos de treball filològic i en contextos d’ús de la llengua alemanya en l’àmbit del Turisme i dels Negocis i l’Empresa Internacional en base a consultes a corpus, per saber si s’ha incidit en la professionalització dels Graduats en Llengües Modernes en termes de coneixement d’eines i d’expansió i exploració d’aspectes de les new literacies rellevants per l’àmbit.

[*]       grau de satisfacció/frustració general dels docents amb els treballs de coordinació de l’acció

[*]       grau de satisfacció/frustració general dels docents amb el treball de l’equip docent

[*]       grau de satisfacció/frustració general dels docents amb el treball i les reaccions dels estudiants

[*]       percepcions de l’accesibilitat i la usabilitat dels accesos online

[*]       comparacions amb èxit acadèmic de tasques comparables a les dutes a terme en anys anteriors a la implementacio de l’acció

 

Indicadors d’avaluació de la transferabilitat

[*]       Precisió en la capacitat per definir els objectius de l’acció i els efectes esperats per part dels docents

[*]       Precisió en la capacitat de reflexionar i transmetre informacions relatives a les coincidències i les divergències entre els efectes esperats al termini de l’acció i els resultats obtinguts

[*]       Precisió en la capacitat de definir la relació entre rúbriques i instruccions per part dels docents

[*]       Precisió en la capacitat per identificar els assoliments per part dels estudiants.