Un sistema nunca está terminado y siempre hay que ir comprobando su evolución y su comportamiento ante los diferentes escenarios de mercado que pueden producirse. En los siguientes puntos veremos cómo se pone a prueba un sistema y qué parámetros hay que tener en cuenta antes de llevarlo a la práctica con dinero real.
La posibilidad que ofrecen los ordenadores y los programas de software disponibles facilitan que cualquier idea o sistema pueda ser probado sin necesidad de arriesgar ni un euro. Ahora bien, los resultados que se obtienen sólo garantizan o prueban la bondad del sistema hasta el momento presente, puesto que no es posible garantizar la eficacia del mismo a partir de su utilización en el mercado real. A pesar de esto, un sistema que ha mostrado su validez y solidez en diversas coyunturas de mercado ofrecerá resultados positivos al inversor.
Normalmente no se dispondrá de un único método, sino que se trabajará con varios alternativos, muchas veces simultáneamente, utilizando en cada caso el que mejor comportamiento está demostrando de acuerdo con la actual situación.
Con el test del sistema podemos determinar los plazos en los que es efectivo, qué indicadores interaccionan y funcionan mejor con el mismo, la interacción de las diferentes variables en el riesgo-beneficio, efectuar análisis de sensibilidad de las variables.
Para ello, el sistema debe estar diseñado y creado desde un principio para aportar una información homogénea en varios de sus aspectos, para poder ser evaluada y comparada y en base a ella determinar la utilidad del mismo. La información debe ser, como mínimo, la siguiente:
a) El periodo utilizado.
Normalmente en años, siendo deseable que sea el máximo posible (un mínimo de cinco años, cuando se trabaja en base diaria) y a ser posible con diferentes situaciones de mercado, como, por ejemplo, alzas, bajas y movimientos laterales. Cuando se tiene una buena base de datos de más de 5 años, lo mejor es empezar probando el sistema en un periodo intermedio. Una vez se tienen los resultados deseados, probar sin variación de los parámetros el mismo periodo de tiempo con datos anteriores y con datos posteriores. Si se mantienen la línea de resultados, el sistema empezará a dar muestras de su validez. También debería efectuarse la prueba con el mismo periodo de datos arrancando en tantas fechas distintas como sea posible, para analizar la consistencia que no dependa de unas condiciones iniciales determinadas. Por último, conviene realizar la prueba completa con el total del periodo de datos. Si se mantienen los resultados sin excesivas variaciones, el sistema tiene muchas garantías de seguir funcionando en el futuro.
b) El beneficio neto.
Es el resultado total del periodo una vez descontados los costes de transacción o comisiones, teniendo en cuenta que probablemente entraremos a precios superiores en las compras e inferiores en las ventas que los que se puedan determinar. Esto puede ponderarse utilizando como precio al que se realizan las operaciones el de apertura del día siguiente a que nos proporcionan la señal.
c) El número de operaciones analizado.
Es importante que un sistema genere para el periodo analizado las suficientes operaciones para validar su eficacia. Como mínimo deberemos tener para el periodo analizado unas cien operaciones, correctas o erróneas, pero debe mantenerse en esta proporción. Un sistema que genere poca operativa, aunque arroje un buen resultado, será poco fiable.
d) La operación con mayor beneficio y la operación con mayor pérdida.
Es importante que la operación con mayor beneficio no sea un porcentaje elevado del beneficio total obtenido por el sistema, porque la situación puede no volver a repetirse. También es interesante analizar la operación con mayor pérdida para controlar que no exceda el total de riesgo que podemos asumir. Tampoco hay que ajustar las reglas del sistema para que eviten esta máxima pérdida, ya que su aparición puede venir provocada en el futuro por otras condiciones no previstas. Es preferible que sea el sistema de stops el que consiga evitar su aparición.
e) El máximo número de operaciones consecutivas con pérdidas y con beneficios.
Es muy útil, sobre todo para intentar determinar si podremos soportar la presión de estar perdiendo de forma consecutiva un número grande de veces y seguir sin desconfiar del sistema manteniendo su disciplina. Este dato puede incrementarse en el futuro. No es definitivo, pero puede aproximarse bastante. También puede ser útil para evaluar el capital necesario para afrontar con garantías el sistema.
f) El máximo recorrido adverso medio por operación y el mayor.
Habrá que tener un estómago muy fuerte para confiar en un sistema que durante cinco años haya obtenido un rendimiento anual del 100%, pero que en medio hayamos tenido, con una posición en cartera, pérdidas no realizadas del 50% de la posición. Esto es lo que se intenta analizar con este parámetro, muy importante, ya que ataca directamente a la disciplina psicológica del inversor.
g) El porcentaje de operaciones ganadoras.
Es difícil encontrar sistemas seguidores de tendencia con un porcentaje de operaciones ganadoras superior al 55%. Muchas veces podemos considerarnos satisfechos de tener un porcentaje entre el 35% y el 45%. Hay que ser especialmente cuidadosos con el efecto que tienen los stops sobre este porcentaje. Hay que desconfiar sistemáticamente de los sistemas con elevados porcentajes de aciertos.
h) El ratio beneficio medio / pérdida media.
Este ratio deberá ser siempre superior a 1, especialmente si nuestro porcentaje de aciertos es bajo. Si obtenemos uno entre el 2'5 y el 3'5 con niveles de acierto en torno al 40% habremos desarrollado un buen sistema.
i) La volatilidad y la probabilidad de ruina.
La volatilidad, calculada como desviación típica de los resultados obtenidos en todas las operaciones, debe ser lo mas baja posible. La probabilidad de ruina es una fórmula que nos permite calcular (teniendo en cuenta el capital inicial, el ratio de beneficio medio / pérdida media y el porcentaje de acierto) la probabilidad que tiene el sistema de autodestruirse, es decir, de que se conjuguen los peores resultados y se acabe perdiendo el capital invertido a pesar de haber encontrado un sistema rentable en el tiemp