Hola amigo letsdothis, vaya por delante que no soy un experto solo un aprendiz.
.. supongo que además del formato (mp4, avi, etc...) el tamaño del fotogram ancho x alto será el mismo, por lo que nos queda la velocidad (framerate o FPS) fotogramas por segundo, ... no es lo mismo un video de 15 Fps que otro a 25 o 30, el peso del video será superior cuantos mas tenga y lógicamente tendrá más calidad., también intervienen el tipo códec con el que se codifique, y la tasa de bits.
Mp4. es un contenedor de imagen y audio dependiendo del tamaño del frame, la tasa de bits y del códec con el que se comprime varia el peso del archivo de video final.
Se que no es una respuesta muy técnica pero seguro que algún experto nos lo explicará con más detalle y mejores palabras
Un saludo: