Flag of Ukraine
SymfonyCasts stands united with the people of Ukraine

Consultas de reducción JOINs y addSelect

Keep on Learning!

If you liked what you've learned so far, dive in!
Subscribe to get access to this tutorial plus
video, code and script downloads.

Start your All-Access Pass
Buy just this tutorial for $6.00

With a Subscription, click any sentence in the script to jump to that part of the video!

Login Subscribe

Cuando estamos en la página principal, vemos siete consultas. Tenemos una para obtener todas las categorías... y luego consultas adicionales para obtener todas las galletas de la suerte de cada categoría. Podemos ver esto en el perfilador. Ésta es la consulta principal FROM category... luego cada una de éstas de aquí abajo está seleccionando datos de galletas de la suerte para una categoría específica: 3, 4, 2, 6, etc.

Relaciones de carga perezosa

Si has utilizado Doctrine, probablemente reconozcas lo que ocurre. Doctrine carga sus relaciones perezosamente. Sigamos la lógica. En FortuneController, empezamos consultando una matriz de $categories. En esa consulta, si nos fijamos, sólo está seleccionando datos de categorías: no datos de galletas de la suerte. Pero si entramos en la plantilla - templates/fortune/homepage.html.twig - hacemos un bucle sobre las categorías y finalmente llamamos a category.fortuneCookies|length.

El problema N+1

En la tierra de PHP, estamos llamando al método getFortuneCookies() en Category. Pero hasta ahora, Doctrine aún no ha consultado los datos de FortuneCookie para esta Categoría. Sin embargo, en cuanto accedemos a la propiedad $this->fortuneCookies, mágicamente realiza esa consulta, diciendo básicamente:

Dame todos los datos de FortuneCookie para esta categoría

Que... luego establece en la propiedad y nos la devuelve. Así que es en este momento dentro de Twig cuando se ejecuta esa segunda, tercera, cuarta, quinta, sexta y séptima consulta.

Esto se llama el "Problema N+1", en el que tienes "N" número de consultas para los elementos relacionados de tu página "más uno" para la consulta principal. En nuestro caso, es 1 consulta principal para las categorías más 6 consultas más para obtener los datos de las galletas de la suerte de esas 6 categorías.

Esto no es necesariamente un problema. Puede perjudicar el rendimiento de tu página... o no ser gran cosa. Pero si está ralentizando las cosas, podemos arreglarlo con JOIN. Después de todo, cuando consultamos las categorías, ya nos estamos uniendo a la tabla de galletas de la suerte. Así que... si sólo cogemos los datos de las galletas de la suerte en la primera consulta, ¿no podríamos construir toda esta página con esa única consulta? La respuesta es... ¡totalmente!

Seleccionar los campos unidos

Para ver esto en acción, busca algo primero. Hago esto porque activará el método search() en nuestro repositorio, que ya tiene el JOIN. Aquí, como tenemos cinco resultados, hizo seis consultas.

Vale, ya nos estamos uniendo a fortuneCookie. Entonces, ¿cómo podemos seleccionar sus datos? Es deliciosamente sencillo. Y de nuevo, el orden no importa:->addSelect('fortuneCookie').

¡Ya está! ¡Pruébalo! Las consultas se redujeron a una y la página sigue funcionando! Si abres el perfilador... y ves la consulta formateada... ¡sí! Se está uniendo a fortune_cookie y cogiendo los datos de fortune_cookie al mismo tiempo. ¡El problema "N+1" está resuelto!

¿Dónde se esconden los datos de la unión?

Pero quiero señalar una cosa clave. Como estamos dentro deCategoryRepository, cuando llamamos a $this->createQueryBuilder('category'), eso añade automáticamente un ->select('category') a la consulta. Eso ya lo sabemos.

Sin embargo, ahora estamos seleccionando todos los datos de category y fortuneCookie. Pero... nuestra página sigue funcionando... lo que debe significar que, aunque estemos seleccionando datos de dos tablas, nuestra consulta sigue devolviendo lo mismo que antes: una matriz de objetos Category. No está devolviendo una mezcla de datos de category yfortuneCookie.

Este punto puede resultar un poco confuso, así que permíteme que lo desglose. Cuando llamamos acreateQueryBuilder(), en realidad se añaden 2 cosas a nuestra consulta:FROM App\Entity\Category as category y SELECT category. Gracias a FROM,Category es nuestra "entidad raíz" y, a menos que empecemos a hacer algo más complejo, Doctrine intentará devolver objetos Category. Cuando llamamos a->addSelect('fortuneCookie'), en lugar de devolver una mezcla de categorías y galletas de la suerte, Doctrine básicamente coge los datos de fortuneCookie y los almacena para más adelante. Entonces, si alguna vez llamamos a $category->getFortuneCookies(), se da cuenta de que ya tiene esos datos, así que en lugar de hacer una consulta, los utiliza.

Lo realmente importante es que cuando utilizamos ->addSelect() para coger los datos de un JOIN, no cambia lo que devuelve nuestro método. Aunque más adelante veremos ocasiones en las que utilizar select() o addSelect() sí cambia lo que devuelve nuestra consulta.

Vale, acabamos de utilizar un JOIN para reducir nuestra consulta de 7 a 1. Sin embargo, como sólo vamos a contar el número de galletas de la suerte de cada categoría, hay otra solución. Hablemos ahora de las relaciones EXTRA_LAZY.

Leave a comment!

8
Login or Register to join the conversation
RM Avatar

Hello, Ryan!

[1] Really handy optimization for reducing query count with addSelect().

[2] Is there an equivalent method of reducing query count for a Tree?
(Tree - Nestedset behavior extension for Doctrine)

/**
 * @param int $root_node_id
 * @return array
 */
public function getCategoryTreeNodeArrayByRootId(int $root_node_id): array
{
    $query = $this->createQueryBuilder('c')
        ->from(Category::class, 'c')
        ->where('c.root = :root')
        ->setParameter('root', $root_node_id)
        ->orderBy('c.root, c.lft', 'ASC')
        ->getQuery();

    $query->setHint(Query::HINT_INCLUDE_META_COLUMNS, true);

    return $query->getArrayResult();
}

when i add ->addSelect('c')
i get an error [Semantical Error] line 0, col 73 near 'c WHERE c.root': Error: 'c' is already defined.

Reply
sadikoff Avatar sadikoff | SFCASTS | RM | posted hace 1 mes | edited

Hey @RM

You don't need to ->addSelect() with root alias as it's already added. So the question is which real queries do you want to minimize? Because this query should return the whole tree in scalar array view, and if you need additional data from relations you should add joins here and add this relation to ->addSelect()

Cheers.

Reply
RM Avatar

Ok, thank you!

Reply
Jerzy Avatar

Hi Ryan,

The strange thing is that the counts of fortune cookies for categories have changed after adding the join. On video it's 2:40 vs 3:44. But it feels like these shouldn't change because it was a left join that was added. Perhaps some data was added/removed during video recording?

PS. thanks for another great course!

Reply

Hey, hey I'm here with updates. Yeah that was a correct situation, because you are on search page and you are limiting results to "be" query, so adding select with join fixed issue with counting, now it shows the correct number of elements in that category

Because you have this fortuneCookie.fortune LIKE :searchTerm in query

Cheers!

1 Reply
Jerzy Avatar

Hi Vladimir,
Thanks for checking!

So if I understand correctly:
At first the |length in Twig made it count all the records within a category, because Doctrine detected that the relation isn't hydrated and it fetched all the records from the db. What was tricky here for me is that this query was already filtering related fortuneCookies by the search query.

But adding an addSelect('fortuneCookie') made Doctrine hydrate the relation only with the records matching the LIKE condition, and then |length already had related(filtered out) rows. So Doctrine didn't need to resort back to the default relation mapping(no filtering) to fetch the related fortuneCookies.

I guess that makes sense now!

Reply

Yeah that's correct! Sometimes it can be tricky!

Cheers and happy coding!

1 Reply

That is a great catch, I'll check the details and get back to you =)

Reply
Cat in space

"Houston: no signs of life"
Start the conversation!

What PHP libraries does this tutorial use?

// composer.json
{
    "require": {
        "php": ">=8.1",
        "ext-ctype": "*",
        "ext-iconv": "*",
        "beberlei/doctrineextensions": "^1.3", // v1.3.0
        "doctrine/doctrine-bundle": "^2.7", // 2.9.1
        "doctrine/doctrine-migrations-bundle": "^3.2", // 3.2.2
        "doctrine/orm": "^2.13", // 2.15.1
        "symfony/asset": "6.2.*", // v6.2.7
        "symfony/console": "6.2.*", // v6.2.10
        "symfony/dotenv": "6.2.*", // v6.2.8
        "symfony/flex": "^2", // v2.2.5
        "symfony/framework-bundle": "6.2.*", // v6.2.10
        "symfony/proxy-manager-bridge": "6.2.*", // v6.2.7
        "symfony/runtime": "6.2.*", // v6.2.8
        "symfony/twig-bundle": "6.2.*", // v6.2.7
        "symfony/webpack-encore-bundle": "^1.16", // v1.16.1
        "symfony/yaml": "6.2.*" // v6.2.10
    },
    "require-dev": {
        "doctrine/doctrine-fixtures-bundle": "^3.4", // 3.4.4
        "symfony/maker-bundle": "^1.47", // v1.48.0
        "symfony/stopwatch": "6.2.*", // v6.2.7
        "symfony/web-profiler-bundle": "6.2.*", // v6.2.10
        "zenstruck/foundry": "^1.22" // v1.32.0
    }
}
userVoice