Eritrosit envanter yönetiminde derin pekiştirmeli öğrenme

Abstract

Dünya çapında en yaygın olarak uygulanan tedavi yöntemlerinden birisi kan transfüzyonudur. Sağlığın korunmasında ve hayatların kurtarılmasında kan ürünlerinin doğru bir şekilde temini çok önemli bir rol oynamaktadır. Her yıl, güvenli ve taze eritrosit erişimi sayesinde yüz binlerce hastanın hayatı kurtarılmaktadır. Dolayısıyla, kan kıtlığı sorununu çözebilmek ve kan talebinin ihtiyaçlarını karşılayabilmek için hastane düzeyinde de verimli bir kan ürünleri talep ve arz yönetimi sağlamak ve kan tedarik düzeyini yükseltmek ciddi bir ihtiyaçtır. Dünya çapında hastanelerin ortak hedefi, hizmet verilebilen hasta sayısını en üst düzeye çıkararak ve kan israfını azaltarak mevcut kan birimlerini daha iyi kullanmaktır. Kanı yönetmek zordur çünkü kan ürünleri bozulabilir ürünlerdir, arz stokastiktir ve talepler oldukça belirsiz bir şekilde gerçekleşmektedir. Ek olarak, eritrositler farklı gruplara ayrılmaktadırlar ve hasta uyumluluğu gerektirmektedirler. Pekiştirmeli öğrenme, dinamik ortamlarda sıralı karar verme problemlerini çözmek için geliştirilmiştir ve envanter yönetimi için ilgi çekici bir yöntemdir. Ölçeklendirilebilir, karmaşık problemlerde dahi optimal politikalara yakınsayabiliyor olmaları sebebiyle pekiştirmeli öğrenme metodları arasından yalnızca derin pekiştirmeli öğrenme yöntemleri dikkate alınmıştır. Son zamanlarda, derin pekiştirmeli öğrenme, birçok disiplinde sıralı karar verme problemleri için büyük potansiyel göstermiştir. Derin pekiştirmeli öğrenme, geleneksel yaklaşımlar kullanılarak elde edilmesi zor olan optimuma yakın politikalar geliştirmek için kullanılabilmektedir. Ancak, Boute ve diğerlerinin (2021) kanıtladığı gibi, derin pekiştirmeli öğrenme algoritmaları, geleneksel yöntemlerle elde edilmesi zor, veya hatta bazı durumlarda imkansız olan optimuma yakın politikalar geliştirmek için kullanılabilmelerine rağmen, envanter kontrol alanında yeterli düzeyde uygulanmamışlardır. Bu çalışma, hastane düzeyinde kan envanteri yönetimini iyileştirmek için pekiştirmeli öğrenme ve derin öğrenmedeki son gelişmelerden yararlanmaktadır. Kan bankası envanter yönetiminde derin pekiştirmeli öğrenme yöntemlerinden yararlanılıp yararlanılamayacağı, veya nasıl yararlanabileceği araştırılmıştır. Bu doğrultuda, İstanbul'da bulunan büyük ölçekli özel bir hastane örnek olarak ele alınarak eritrosit envanter yönetimi farklı kan grupları için derin pekiştimeli öğrenme yöntemi ile modellenmiştir. Kullanılan Proksimal Politika Optimizasyonu [1] algoritmasının tüm kan gruplarında optimale yakın seviyelerde performans gösterebilecek sipariş politikaları yakınsayabildiği gözlemlenmiştir. Derin pekiştirmeli öğrenme yöntemi kullanılarak kan ürünleri envanter yönetiminden sorumlu uzmanlara sipariş kararları konusunda destek olabilecek modeller kurulabileceği tespit edilmiştir.

One of the most widely applied treatment methods worldwide is blood transfusion. Proper supply of blood products plays a very important role in maintaining health and saving lives. Lives of hundreds of thousands of patients' lives are saved each year via access to safe and fresh red blood cells. Therefore, it is a serious need to provide an efficient blood products demand and supply management at the hospital level and to increase the blood supply level in order to solve the problem of blood shortage and meet the needs of blood demand. The common goal of hospitals worldwide is to benefit from the acquired blood units as much as possible by maximizing the number of patients that can be served and minimizing the wastage of the units. It is hard to manage blood since blood products are perishable, the supply is stochastic, and demand occurs with high uncertainty. Additionally, red blood cells are divided into different groups and they require patient compatibility. Reinforcement learning has been developed to solve sequential decision making problems in dynamic environments and is an interesting method for inventory management. Among the reinforcement learning methods, only deep reinforcement learning methods have been taken into account, since they can converge to optimal policies even in scalable and complex problems. Deep reinforcement learning has shown great capability related to sequential decision-making problems lately, in many disciplines. Deep reinforcement learning is used to develop near-optimal policies which are hard to obtain using traditional methods. However, as Boute et. al. (2021) put forward recently, even though deep reinforcement learning methods can be used to develop near-optimal problems which are hard to obtain using traditional methods, even impossible time to time, they have not been applied at a satisfactory level in the inventory control field. This work makes use of the latest developments in the reinforcement learning field to be able to improve blood inventory management at a hospital level. Whether deep reinforcement learning can be benefited from in the field of blood bank inventory management, and if so, how would that be possible is the focus of the research. In this direction, red blood cell inventory management was modeled with a deep reinforcement learning method for different blood groups, using a private hospital in Istanbul as an example case. It has been observed that the Proximal Policy Optimization [1] algorithm used was able to converge to order policies that can perform at near-optimal levels for each blood type. It has been confirmed that it is possible to develop models that can support the experts responsible from blood product inventory management with inventory decisions by using the deep reinforcement learning method.