Понимание выполнения QuerySet¶

Для избежания проблем с производительностью, важно понимать:

• что QuerySets - «ленивый».

• когда происходит вычисление.

• как данные загружаются в память.

Понимание кэширования атрибутов¶

As well as caching of the whole QuerySet, there is caching of the result of attributes on ORM objects. In general, attributes that are not callable will be cached. For example, assuming the example Weblog models:

>>> entry = Entry.objects.get(id=1)
>>> entry.blog   # Blog object is retrieved at this point
>>> entry.blog   # cached version, no DB access

But in general, callable attributes cause DB lookups every time:

>>> entry = Entry.objects.get(id=1)
>>> entry.authors.all()   # query performed
>>> entry.authors.all()   # query performed again

Будьте внимательны читая код шаблонов - шаблонизатор не позволяет использовать скобки и автоматом вызывает функции и методы.

Будьте внимательны с собственными свойствами - вы должны самостоятельно реализовать кэширование, используя, например, декоратор cached_property.

Используйте шаблонный тэг with¶

Для использования кэширования в QuerySet можно использовать шаблонный тэг with.

Используйте iterator()¶

Если у вас очень много объектов, кэширование в QuerySet может использовать большой объем памяти. В этом случае может помочь iterator().

Используйте iterator()¶

QuerySet.explain() предоставляет подробную информацию о том, как база данных выполняет запрос, включая используемые индексы и объединения. Эти сведения могут помочь вам найти запросы, которые можно было бы переписать более эффективно, или определить индексы, которые можно добавить для повышения производительности.

Используйте RawSQL¶

Не совсем переносимый между разными БД, но очень мощный метод – RawSQL, который позволяет добавить SQL непосредственно в запрос. Если и этого вам не достаточно:

Используйте SQL¶

Используйте собственный SQL запрос для получения данных и загрузки в модели. Используйте django.db.connection.queries, чтобы понять что создает Django и начните с изменения этого запроса.

Используйте QuerySet.select_related() и prefetch_related()¶

Изучите select_related() и prefetch_related() и используйте их в:

• своих менеджерах и в менеджерах по умолчанию при необходимости. Учитывайте когда используется менеджер, а когда нет; иногда это не однозначно, проверяйте самостоятельно.

• в представлении или другом уровне. При необходимости используйте prefetch_related_objects().

Используйте QuerySet.values() и values_list()¶

Если вам нужен dict или list значений, а не объекты моделей ORM, используйте values(). Это можно использовать для подмены объектов моделей в шаблоне - если атрибуты словаря совпадают с используемыми атрибутами моделей, все будет хорошо работать.

Используйте QuerySet.defer() и only()¶

Используйте defer() и only(), если есть колонки в базе данных, которые вы не будете использовать. Запомните, что если вы все же будете их использовать, ORM сделает дополнительный запрос для их получения, что уменьшит производительность.

Don’t be too aggressive in deferring fields without profiling as the database has to read most of the non-text, non-VARCHAR data from the disk for a single row in the results, even if it ends up only using a few columns. The defer() and only() methods are most useful when you can avoid loading a lot of text data or for fields that might take a lot of processing to convert back to Python. As always, profile first, then optimize.

Используйте QuerySet.count()¶

…вместо``len(queryset)``, если вам необходимо только количество объектов.

Используйте QuerySet.exists()¶

…если необходимо проверить есть ли результат, вместо if queryset.

Но:

Don’t overuse count() and exists()¶

Если вам необходимы остальные данные из QuerySet, просто вычислите их.

For example, assuming an Email model that has a subject attribute and a many-to-many relation to User, the following code is optimal:

if display_emails:
    emails = user.emails.all()
    if emails:
        print('You have', len(emails), 'emails:')
        for email in emails:
            print(email.subject)
    else:
        print('You do not have any emails.')

Он оптимальный потому что:

1. Since QuerySets are lazy, this does no database queries if display_emails is False.

2. Storing user.emails.all() in the emails variable allows its result cache to be re-used.

3. The line if emails causes QuerySet.__bool__() to be called, which causes the user.emails.all() query to be run on the database. If there aren’t any results, it will return False, otherwise True.

4. The use of len(emails) calls QuerySet.__len__(), reusing the result cache.

5. The for loop iterates over the already filled cache.

In total, this code does either one or zero database queries. The only deliberate optimization performed is using the emails variable. Using QuerySet.exists() for the if or QuerySet.count() for the count would each cause additional queries.

Используйте QuerySet.update() и delete()¶

Вместо загрузки данных в объекты, изменения значений и отдельного их сохранения, используйте SQL UPDATE запросы через QuerySet.update(). Аналогично используйте массовое удаление при возможности.

Однако учтите, что эти методы не вызывают save() или delete() объектов. Это означает, что логика добавленная вами в эти методы, не будет выполнена, учитывая обработчики сигналов от объектов.

Используйте значения ключей непосредственно¶

Если вам необходимо только значение внешнего ключа, используйте его, т.к. оно уже в объекте, который вы получили, вместо получения всего связанного объекта и использования первичного ключа. Например, делайте:

entry.blog_id

вместо:

entry.blog.id

Не сортируйте данные, если вам это не требуется¶

Сортировка требует ресурсы. Каждое поле, по которому производится сортировка, требует от базы данных дополнительных ресурсов. Если модель имеет сортировку по-умолчанию (Meta.ordering) и она вам не нужна, уберите её из запроса с помощью order_by() (без параметров).

Добавление индекса в вашу базу данных может улучшить производительность операции сортировки.

Используйте общее добавление¶

При создании объектов, если возможно, используйте метод bulk_create() чтобы сократить количество SQL запросов. Например:

Entry.objects.bulk_create([
    Entry(headline='This is a test'),
    Entry(headline='This is only a test'),
])

…предпочтительнее чем:

Entry.objects.create(headline='This is a test')
Entry.objects.create(headline='This is only a test')

Заметим, что есть несколько предостережений к этому методу, убедитесь что этот метод подходит для всего случая.

Используйте общее добавление¶

При создании объектов, если возможно, используйте метод bulk_create() чтобы сократить количество SQL запросов. Например:

entries = Entry.objects.bulk_create([
    Entry(headline='This is a test'),
    Entry(headline='This is only a test'),
])

Следующий пример:

entries[0].headline = 'This is not a test'
entries[1].headline = 'This is no longer a test'
Entry.objects.bulk_update(entries, ['headline'])

…предпочтительнее чем:

entries[0].headline = 'This is not a test'
entries[0].save()
entries[1].headline = 'This is no longer a test'
entries[1].save()

Заметим, что есть несколько предостережений к этому методу, убедитесь что этот метод подходит для всего случая.

Используйте общее добавление¶

При создании объектов, если возможно, используйте метод bulk_create() чтобы сократить количество SQL запросов. Например:

my_band.members.add(me, my_friend)

…предпочтительнее чем:

my_band.members.add(me)
my_band.members.add(my_friend)

…где Bands и Artists связаны через многие-ко-многим.

При создании объектов, если возможно, используйте метод bulk_create() чтобы сократить количество SQL запросов. Например:

PizzaToppingRelationship = Pizza.toppings.through
PizzaToppingRelationship.objects.bulk_create([
    PizzaToppingRelationship(pizza=my_pizza, topping=pepperoni),
    PizzaToppingRelationship(pizza=your_pizza, topping=pepperoni),
    PizzaToppingRelationship(pizza=your_pizza, topping=mushroom),
], ignore_conflicts=True)

…предпочтительнее чем:

my_pizza.toppings.add(pepperoni)
your_pizza.toppings.add(pepperoni, mushroom)

Заметим, что есть несколько предостережений к этому методу, убедитесь что этот метод подходит для всего случая.

Используйте общее добавление¶

При создании объектов, если возможно, используйте метод bulk_create() чтобы сократить количество SQL запросов. Например:

my_band.members.remove(me, my_friend)

…предпочтительнее чем:

my_band.members.remove(me)
my_band.members.remove(my_friend)

…где Bands и Artists связаны через многие-ко-многим.

При удалении разных пар объектов из ManyToManyFields используйте delete() для выражения Q с несколькими through экземпляры модели для уменьшения количества SQL-запросов. Например:

from django.db.models import Q
PizzaToppingRelationship = Pizza.toppings.through
PizzaToppingRelationship.objects.filter(
    Q(pizza=my_pizza, topping=pepperoni) |
    Q(pizza=your_pizza, topping=pepperoni) |
    Q(pizza=your_pizza, topping=mushroom)
).delete()

…предпочтительнее чем:

my_pizza.toppings.remove(pepperoni)
your_pizza.toppings.remove(pepperoni, mushroom)

…где Bands и Artists связаны через многие-ко-многим.