কৃত্রিম বুদ্ধিমত্তার ভুল: অ্যালগরিদম কি আসলেই নিরপেক্ষ

দুজন মানুষের কথা কল্পনা করুন। দুজনেরই একই রকম অসুস্থতা, একই রকম উপসর্গ। একটি হাসপাতালের সিস্টেম প্রত্যেক রোগীকে একটি ঝুঁকির স্কোর দেয় আর সেই স্কোর অনুযায়ী ঠিক হয় কে বাড়তি যত্ন পাবে, কে পাবে না। একজনকে সিস্টেম উচ্চ ঝুঁকির রোগী হিসেবে চিহ্নিত করল, বাড়তি যত্নের জন্য সুপারিশ করল। আরেকজনকে করল না। রোগ একই, কিন্তু ফলাফল আলাদা। পার্থক্যটা কোথায়?

উত্তরটা চমকে দেওয়ার মতো। পার্থক্যটা তাদের অসুস্থতায় নয়, পার্থক্যটা লুকিয়ে আছে অ্যালগরিদম যে জিনিসটি দিয়ে ‘অসুস্থতা’ মাপার চেষ্টা করেছিল, তার মধ্যে।

প্রক্সির ফাঁদ

একটি অ্যালগরিদম সরাসরি কারও ভবিষ্যৎ অসুস্থতা মাপতে পারে না। তাই সে একটি প্রক্সি বা বিকল্প সংকেত ব্যবহার করে। এটি এমন কিছু, যা মাপা সহজ এবং যেটি অসুস্থতার সঙ্গে সাধারণত মিলে যায়। সমস্যাটা শুরু হয় তখনই, যখন সেই প্রক্সিটা নিজেই ইতিহাসের পক্ষপাত বহন করে।

২০১৯ সালে যুক্তরাষ্ট্রের বার্কলি ও শিকাগো বিশ্ববিদ্যালয়ের গবেষক জিয়াদ ওবারমেয়ার ও তাঁর সহকর্মীরা সায়েন্স সাময়িকীতে একটি গবেষণা প্রকাশ করেন, যা আমেরিকার স্বাস্থ্যখাতে ব্যাপক আলোড়ন তোলে। যুক্তরাষ্ট্রের হাসপাতাল ও বিমা প্রতিষ্ঠানগুলো একটি বহুল ব্যবহৃত অ্যালগরিদম দিয়ে ঠিক করত, কোন রোগীর বাড়তি যত্ন দরকার। অ্যালগরিদমটি প্রতিবছর প্রায় ২০ কোটি মানুষের সেবা ব্যবস্থাপনায় ব্যবহৃত হতো। অ্যালগরিদমটি ‘অসুস্থতা’ মাপার প্রক্সি হিসেবে বেছে নিয়েছিল রোগীর চিকিৎসায় হওয়া খরচকে। যুক্তির দিক থেকে এটি স্বাভাবিক মনে হয়, বেশি অসুস্থ মানুষের পেছনে বেশি খরচ হওয়ারই কথা।

কিন্তু গবেষকেরা দেখলেন, একই ঝুঁকির স্কোরে থাকা কৃষ্ণাঙ্গ রোগীরা প্রকৃতপক্ষে শ্বেতাঙ্গ রোগীদের চেয়ে উল্লেখযোগ্যভাবে বেশি অসুস্থ ছিলেন। কারণটা ছিল সহজ, কিন্তু গভীর। যুক্তরাষ্ট্রের স্বাস্থ্যব্যবস্থায় ঐতিহাসিকভাবে কৃষ্ণাঙ্গ রোগীদের পেছনে একই অসুস্থতার জন্য কম খরচ করা হয়েছে, যা মূলত বৈষম্যমূলক চিকিৎসাসেবা ও আস্থার ঘাটতির কারণে ঘটেছে। অ্যালগরিদম সেই কম খরচকেই কম অসুস্থতা বলে শিখে নিয়েছিল।

ফলাফল ছিল ভয়াবহ। অ্যালগরিদমের সুপারিশে বাড়তি যত্ন পাওয়া রোগীদের মধ্যে মাত্র ১৭.৭ শতাংশ ছিলেন কৃষ্ণাঙ্গ। গবেষকদের হিসাব অনুযায়ী, পক্ষপাতটি সংশোধন করলে সংখ্যাটা হতো ৪৬.৫ শতাংশ, অর্থাৎ প্রায় আড়াই গুণ বেশি! ভালো খবর হলো, গবেষকেরা যখন এই সমস্যাটা অ্যালগরিদম প্রস্তুতকারী প্রতিষ্ঠান অপটামকে জানান, তখন তারা প্রক্সি বদলে অসুস্থতা মাপার নতুন পদ্ধতি বসিয়ে পক্ষপাত ৮৪ শতাংশ কমিয়ে ফেলতে সক্ষম হয়েছিল।

প্রক্সিটাই যখন জাতীয়তা হয়ে যায়

একই ধরনের আরেকটা ঘটনা ঘটেছিল নেদারল্যান্ডসে, তবে সেখানে বিষয়টা স্বাস্থ্য নয়, শিশু পরিচর্যা ভাতা সম্পর্কিত ছিল। ডাচ কর কর্তৃপক্ষ একটি স্বশিক্ষণশীল অ্যালগরিদম বসিয়েছিল, যার কাজ ছিল কোন পরিবারের ভাতার আবেদন জালিয়াতির ঝুঁকিতে আছে, তা চিহ্নিত করা। তদন্তে বেরিয়ে আসে, এই অ্যালগরিদম দ্বৈত নাগরিকত্বকে ঝুঁকির একটি নির্দেশক হিসেবে ব্যবহার করছিল। যাদের দুটি নাগরিকত্ব ছিল, বিশেষ করে অভিবাসী পরিবারগুলো, তাদের আবেদন স্বয়ংক্রিয়ভাবে বেশি সন্দেহজনক হিসেবে চিহ্নিত হতো।

এর ফলাফল ছিল, প্রায় ২৬ হাজার পরিবারকে ভুলভাবে জালিয়াতির অভিযোগে অভিযুক্ত করা, তাদের ভাতা বন্ধ করে দেওয়া, অনেক ক্ষেত্রে বিশাল অঙ্কের টাকা ফেরত দিতে বাধ্য করা; যার কোনো মানবিক পর্যালোচনার সুযোগ ছিল না। ডাচ ডেটা প্রটেকশন অথরিটির তদন্তে এই বৈষম্যমূলক চর্চা নিশ্চিত হওয়ার পর ২০২১ সালের জানুয়ারিতে পুরো ডাচ মন্ত্রিসভা পদত্যাগ করে। প্রধানমন্ত্রী মার্ক রুটে নিজে বলেছিলেন, ‘আইনের শাসনকে সর্বশক্তিমান সরকার থেকে নাগরিকদের রক্ষা করার কথা, আর এখানে সেটাই ভয়াবহভাবে ভুল হয়ে গেছে।’

দুটি ঘটনাই একই সত্যের দিকে ইঙ্গিত করে। অ্যালগরিদম কাউকে ইচ্ছা করে ঘৃণা করে না। সে শুধু অতীতের সিদ্ধান্তগুলো থেকে শেখে; আর অতীতের সিদ্ধান্ত যদি অসম বা বৈষম্যমূলক হয়ে থাকে, অ্যালগরিদম সেই অসমতাকেই সঠিক উত্তর হিসেবে ধরে নেয়।

বাংলাদেশে একটি ভিন্ন উদাহরণ, যেখানে সমস্যাটা আগেই ধরা পড়েছিল

এই প্যাটার্নটা জানার পর স্বাভাবিকভাবেই প্রশ্ন জাগে, বাংলাদেশেও কি এমন কিছু ঘটতে পারে? সহকর্মী রোমানা আক্তারের সঙ্গে মিলে আমি ঠিক এই প্রশ্নটা নিয়েই কাজ করেছি, তবে স্বাস্থ্য নয়, বন্যা-পরবর্তী ত্রাণ বণ্টন নিয়ে।

২০২২ সালের বন্যায় বাংলাদেশে প্রায় ৭২ লাখ মানুষ ক্ষতিগ্রস্ত হয়েছিলেন। ত্রাণ সংস্থাগুলো প্রায়ই ঠিক করে কোন এলাকায় আগে সাহায্য পাঠানো হবে, অতীতের বরাদ্দের ধরন দেখে। সমস্যাটা হলো, অতীতের বরাদ্দ নিজেই যদি অসম হয়ে থাকে, তাহলে যে জেলা আগের বন্যায় কম সাহায্য পেয়েছিল, সে পরের বন্যাতেও কম পাওয়ার ঝুঁকিতে থাকে। প্রয়োজন কম বলে নয়, বরং সিস্টেম তাকে উপেক্ষা করতে শিখে গেছে বলে।

আমরা সরকারি পোস্ট-ডিজাস্টার নিডস অ্যাসেসমেন্টের বাস্তব তথ্য ব্যবহার করে ১১টি জেলার ৮৭টি উপজেলার ওপর একটি মডেল তৈরি করি, যেটি এলাকার নাম দেখে না, বরং প্রকৃত ক্ষয়ক্ষতি, দারিদ্র্যের হার আর জনঘনত্বের মতো সূচক দেখে অগ্রাধিকার ঠিক করে। ফলাফল ছিল উল্লেখযোগ্য। সংশোধিত মডেলে সচ্ছল ও দরিদ্র জেলার মধ্যে স্কোরের পার্থক্য কমেছিল ৪১.৬ শতাংশ। সুনামগঞ্জ, যে জেলার প্রায় ৪৩ শতাংশ মানুষ দরিদ্র আর যেখানে বন্যায় ৯৪ শতাংশ এলাকা তলিয়ে গিয়েছিল, পুরোনো হিসাবে অগ্রাধিকার তালিকায় ছিল ১৪ নম্বরে। সংশোধিত মডেলে সেটা উঠে আসে ৬ নম্বরে।

ওবারমেয়ারের গবেষণা আর ডাচ ভাতা কেলেঙ্কারি—দুটোই এমন ঘটনা, যেখানে সমস্যাটা ধরা পড়েছিল বাস্তবে প্রয়োগ হওয়ার পর, বহু মানুষের ক্ষতি হওয়ার পর। বাংলাদেশের এই উদাহরণের পার্থক্যটা এখানেই, সমস্যাটা এখানে ধরা পড়েছে মডেল বাস্তবে ব্যবহারের আগেই, গবেষণার টেবিলে। এটি প্রমাণ করে, অ্যালগরিদমের এই পক্ষপাত ধরার আর ঠিক করার কৌশল এখন হাতের নাগালেই আছে। প্রশ্নটা শুধু, প্রয়োগের আগে কেউ সেটা খুঁজে দেখছে কি না।

শেষ কথা

তিনটি ঘটনাই একটি সাধারণ শিক্ষা দেয়। কোনো তালিকা, কোনো স্কোর, কোনো র‍্যাঙ্কিং যদি অতীতের সিদ্ধান্তের ওপর ভিত্তি করে তৈরি হয়, তাহলে সেই তালিকার নিচে থাকা মানুষগুলোর জন্য প্রশ্ন করা জরুরি, তারা কি সত্যিই কম গুরুত্বপূর্ণ, নাকি সিস্টেম শুধু তাদের উপেক্ষা করতেই শিখে গেছে? উত্তরটা খুঁজে বের করার গণিত এখন আমাদের হাতে আছে। বাকিটা নির্ভর করে কেউ প্রশ্নটা করার সিদ্ধান্ত নিচ্ছে কি না, তার ওপর।

লেখক: গবেষক ও মেশিন লার্নিং বিজ্ঞানী, ট্রাস্টওয়ার্দি এআই

সূত্র: নেচার, ডাচ ডেটা প্রটেকশন অথোরেটি, আল জাজিরা ও সায়েন্স