Los orígenes de tan bella villa, a tan solo 5 km de la villa de Saldaña, se encuentran al norte de la actual y se pueden fechar a finales del S. I o principios del II, en época Flavia pero a mediados del S. IV se produjo un cambio sustancial en su emplazamiento, se abandona el antiguo y se levanta uno nuevo, mucho más grande y suntuoso que el anterior. No está claro si fueron nuevos dueños, mucho más adinerados que los anteriores o que la fortuna familiar dio un salto cuantitativo.
La cuestión es que el nuevo edificio se convirtió en una espléndida villa con dos partes independientes, unidas por un ancho pasillo. Una parte era la vivienda familiar y en la parte oeste estaban los baños. En total tiene una extensión de 4.400 m2, con más de 1.400 m2 de pavimentos de mosaico. Además el conjunto de la villa estaba formado por otras dependencias: viviendas para colonos y siervos, almacenes, cuadras y otras áreas de trabajo, incluidas una zona para enterramientos.
La vivienda principal, de cerca de 3.000 m2 es cuadrada, con un jardín central, rodeado de galerías que se abren a las habitaciones y corresponde al tipo de vivienda mediterránea llamada de «peristilo», muy frecuente en el mundo romano.
En sus fachadas Norte y Sur tenía pórticos flanqueados en sus extremos por torres octogonales en la parte norte y cuadradas en el parte sur. El acceso principal al interior de la vivienda, atravesado el pórtico sur, se hacía hacia la habitación V-3, al fondo se alzaban unas columnas cuyas basas se conservan ·in situ» que servían para marcar el paso del vestíbulo a la galería sur del peristilo. En ese vestíbulo es donde esperaban al señor de la villa sus «clientes».
Desde la galería sur se accedía a la habitación V-5 pavimentada con un suelo de opus signinum (mortero de cal con fragmentos cerámicos) que tiene en el sector central cuatro hoyos semiesféricos unidos por canales, probablemente se trata de asientos de tinajas, con lo que probablemente esta y la habitación contigua, la V-6, son almacenes o despensas. De esta habitación sale una escalera que llevaba al piso superior. La habitación V-9 pudo ser una alcoba con uno de los mosaicos geométricos más bellos. La V-13 se puede considerar uno de los «triclinios» o comedores de la casa.
El Oecus (V-14) es la sala principal de la vivienda de 175 m2 y es donde se encuentran los mosaicos más importantes de los conservados. La parte figurativa se compone de tres temas bien distintos. El primero de ellos es una escena de caza, compuesta por siete escenas diferentes. Una de las más bellas es un jabalí acosado por perros, de un realismo poco común en los mosaicos hispanos. En el centro del salón hay un motivo mitológico: se trata de la leyenda del descubrimiento de Aquiles por parte de Ulises, cuando aquel se ocultaba vestido de mujer en la Isla de Skyros, dentro del gineceo del rey Licomedes. Ulises, a la derecha de la composición, indica con la mano a Aquiles, donde está Troya, mientras las princesas hijas de Licomedes intentan impedir su marcha, al saber el fatal destino que le llevará a morir en la guerra. Una ancha cenefa rodea la escena, es el tercer tema figurativo y se trata de una serie de medallones ovalados que cuelgan de las alas de ánades, cuya cola se transforma en delfín. En cada medallón o clípeo hay un rostro, alternativamente masculino y femenino, de personajes todos jóvenes, incluso algún muchacho, que forman una auténtica galería de retratos familiares de los dueños de la casa, es sin duda el más importante por su singularidad y cuidadísima factura. En las cuatro esquinas de la cenefa, las cuatro estaciones. La más completa, la del invierno.
En el extremo Este de la galería una puerta de entrada a una habitación absidiada, la V-16, que estuvo dotada de hypocastum, sistema de calefacción subterránea «radiante».
El mosaico de la habitación V-18 destaca por su fuerte colorido, principalmente el amarillo y el rojo y tiene un diseña de cuadros y hexágonos alargados separados por sogas que encierran diversos motivos geométricos y florales. Lo rodean dos cenefas, una interior de flores de tres pétalos (tulipanes) y otra exterior de flores cuadripétalas encerradas en cuadrados. Es mosaico es uno de los que se han conservados íntegros.
Las habitaciones que se abren a la galería norte tienen suelos de opus signinum y de tierra. La V-22 es la entrada norte de la villa. En la V-24 se ve el hueco de la escalera de acceso al piso alto. Tanto en la crujía Norte y Sur había dos pisos y las este y oeste eran de piso bajo. En la galería oeste del peristilo hay un mosaico con el mismo diseño del de la galería oriental. Del centro de esta galería sale un pasillo que comunica con los baños. La habitación V-32 es posiblemente el comedor o triclinio principal de la vivienda.
El espacio central, el jardín con peristilo, V-41, tenía en medio una fuente de la que apenas aquedan restos, rodeada por un pequeño mosaico totalmente destruido. De la fuente parte un desagüe de ladrillo visible en la actualidad, que atraviesa la galería norte bajo el mosaico, la habitación V-22 y el pórtico (V-40) y vertía en un arroyo perpendicular, hoy desaparecido.
Los baños es un edificio situado en el lado oeste y unido a la vivienda por un amplio corredor y forman un conjunto uniforme construido simultáneamente. El corredor divide los baños en dos partes, al sur una habitación circular de 170 m2 (B-12), con cuatro saliente en ángulo recto y pavimento de opus signinum de color muy claro, al que se superpone un mosaico. Esta sala se calentaba mediante el hypocaustum, las chimeneas de tiro se situaban en lo salientes el ángulo recto, empotradas en la pared. Dos puertas al oeste la comunicaban con cuatro pequeñas habitaciones. Al norte del corredor de unión con la vivienda, frente a la sala circular de la zona sur de los Baños, se encuentra el apodyterium o vestuario de los baños (B-02), de forma cuadrada con las esquinas redondeadas, tiene adosada a su pared oriental y a parte de la pared un banco corrido, En la esquina noroeste una pequeña bañera de forma oval muy bien conservada, con escalones para descender. Toda la sala está cubierta por un mosaico de factura poco cuidado.
De la esquina sureste sale un desagüe profundo de fábrica que atraviesa la habitación B-05, identificada como las laetrinae, con solado de baldosas o ladrillo. De la habitación B-02 desciende una ancha escalera al figidarium (sala de baño frio) de forma trilobulada. En 2010 han aparecido las habitaciones de las zonas templada y caliente (tepidaria y caldaria) con mosaicos e hipocausto (B-08, B-09 y B-10) Junto a ellas también una habitación rectangular rematada en ábside, con un bello mosaico geométrico (B-07)
El conjunto de La Olmeda es uno de los mayores existentes en edificios no públicos del occidente romano. Si exceptuamos los aproximadamente 400 m2 que tuvo la planta alta, casi por completo destruida, el resto se ha conservado en su mayor parte. Su importancia no es solo por la cantidad, sino también por la calidad de su ejecución, tanto en los de diseño geométrico, como en los figurados, siendo muy superior a la que presenta la mayoría de los mosaicos tardorromanos de Hispania.