python2.6, threads и запись в файл (соблюдаем очередь)

[Stauffenberg]

Всем привет.


Как проще всего решить проблему? Есть 10 threads, которые после окончания своей работы, записывают пару строк в файл. По причине того, что выполняются они параллельно, процесс записи в файл превращается в мясорубку.

Первое, что приходит на ум - каждый thread записывает все в свой файл, а потом все файлы просто сливаются в один. Может есть более простой способ?


Заранее благодарен за советы.

[NickLion]

Если операции записи не особо активные (например, по окончании работы), то так проще, наверное:
1. lock
2. write to file
3. flush
4. unlock

Если частые записи, то, имхо, лучше завести отдельный поток записи в файл, которому просто посылать сообщение, которое нужно записать.

[Stauffenberg]

Возможно есть решение от самих python-разработчиков? Подобная ситуация с threading встречается постоянно.

Если операции записи не особо активные (например, по окончании работы), то так проще, наверное:
1. lock
2. write to file
3. flush
4. unlock

Это первое о чем я подумал, но на python'е я этого еще не реализовывал. За пример кода был бы очень признателен (:

Если частые записи, то, имхо, лучше завести отдельный поток записи в файл, которому просто посылать сообщение, которое нужно записать.

Т.е. все потоки передают свои строки обратно, и уже там (после обработки), записываются в файл? Безусловно это экономит I/O (в моем случае это критично), но тогда нужно запрограммировать обработчик этих записей.

[NickLion]

К сожалению, python не знаю. Так, правил несколько скриптов по образу и подобию. Поэтому не подскажу о наличии готовых решений. Я такое (с отдельным потоком для записи) делал, но это было C++/boost, так что не особо поможет, наверное.

[Bizdelnick]

https://stackoverflow.com/questions/1198393...multiple-threds