Tratamiento de bytes en C#

Estoy haciendo un programa en el que, se toman los bytes de un fichero en un array.
lo siguiente, y eso es lo complicado, no es visualizarlos,sino modificarlos para probar.
Hay alguna forma de operar con ellos de forma individualizada? Me serviría pasar cada byte a un número entero para operar con el, pero no me permite convertirlos a int, ni con el método CONVERT ni con PARSE.

byte[] arreglo = null;
            string cadena = "";
            int largo = 0;
             arreglo = File.ReadAllBytes("C:\\Users\\Tucker\\Desktop\\tucker.txt");
            cadena = System.Text.Encoding.ASCII.GetString(arreglo);
            largo = cadena.Length;
       
            Console.WriteLine(cadena);

Este es esl sencillo programa, pero no acierto a sacar u operar con un byte de uno en uno, alguna idea?