موتور جستجوی بومی: از رویا تا واقعیت
در ماه آبان شاهد قطع شدن اینترنت در ایران بودیم و امکان دسترسی به شبکه جهانی اینترنت از داخل کشور مهیا نبود. این موضوع تاثیر منفی بسیار زیادی در کسب و کارهای اینترنتی و غیراینترنتی داشت و باعث شد که لطمه بسیار زیادی به آنها وارد شود. قطع شدن سراسری اینترنت باعث شد که بسیاری از مردم در زندگی روزمره خود دچار مشکل شوند و برای استفاده از اینترنت و برطرف کردن نیازهای روزمره خود مانند جستجو کردن، استفاده از مسیریابها و... به سراغ نرم افزارها و ابزارهای داخلی بروند، اما نهایتا این اتفاق باعث شد که متوجه شویم فاصله زیادی بین ابزارهای ایرانی و بین المللی وجود دارد.
نرم افزارهای مسیریاب ایرانی، یا مسیرهای مستقیم را نمایش میدهند و یا اینکه مسیرها را به اشتباه به کاربر نمایش میدهند، پیام رسانها در مقایسه با نمونه های بین المللی، کیفیت بسیار پایینی دارند و موتورهای جستجوی بومی، علیرغم اینکه بودجه قابل توجهی برای توسعه خود خرج کرده اند، نتایج قابل قبولی به کاربر نمایش نمی دهند. البته که سایت های اینترنتی موفقی هم در ایران داریم که برخی از آنها مانند کافه بازار، دیجیکالا و آپارات به دلیل عدم فعالیت یا فیلترشدن رقبای خارجی خود توانسته اند رشد قابل توجهی داشته باشند و برخی دیگر نیز مانند سایت های ایمالز و ترب که موتورجستجوی کالا هستند، عملکرد مناسبی دارند. سوالی که مطرح می شود این است که چه تفاوتی میان موتورهای جستجوی بومی و نمونه های موفق ایرانی مانند دیجیکالا، آپارات، ترب، ایمالز، کافه بازار و... است و چه عاملی باعث می شود که هیچ موتورجستجوی موفقی در ایران نداشته باشیم؟
چه عاملی باعث می شود موتور جستجوی بومی موفقی در ایران نداشته باشیم؟
قبل از اینکه به طور کامل به این سوال پاسخ بدم، شاید بد نباشد که از سوابق خودم در این زمینه برای شما توضیح بدم. من (رضا شیرازی) علاوه بر اینکه سال ها در حوزه سئو کار کردم، تجربه همکاری با تیم دانشگاه امیرکبیر تهران را زمانی که دانشجوی ارشد هوش مصنوعی بودم در زمینه طراحی موتورجستجوی فارسی داشتم و پایان نامه ارشد خودم را در زمینه الگوریتم های بهینه جستجوی فارسی ارائه دادم. پس از پایان دوران ارشد هم مشاور تولید موتورجستجوی بومی در چند سازمان مختلف از جمله معاونت مجازی صدا و سیما بودم.
برای پاسخ این سوال باید از چند دیدگاه مختلف به موضوع نگاه کنیم:
1. سرمایه گذاری بخش خصوصی یا دولتی
طراحی و توسعه نرم افزارهای پیشرفته مانند موتورهای جستجو، نیازمند سرمایه گذاری قابل توجهی است که بخش خصوصی در ایران توان و بضاعت آن را ندارد و بخش دولتی نیز توان مدیریت سرمایه گذاری انجام شده را ندارد، به همین دلیل سرمایه گذاری مناسبی در این حوزه انجام نمی شود. اگر نمونه های موفق ایرانی مانند کافه بازار، دیجی کالا، آپارات و... را بررسی کنیم، متوجه می شویم که همه آنها با سرمایه گذاری شخصی و خصوصی، در زمان مناسب آغاز به کار کرده اند و به مرور زمان توانسته اند توسعه پیدا کنند، همچنین هیچ نمونه موفقی را پیدا نخواهیم کرد که با سرمایه گذاری دولتی شکل گرفته باشد. در واقع در اینجا با مانع بزرگی روبرو هستیم که بخش خصوصی نمی تواند به سادگی آن را حل کند و بخش دولتی نیز اگر وارد آن بشود، به نتیجه نخواهد رسید.
2. همکاری صنعت و دانشگاه
علاوه بر فعالیتهای اجرایی، نیاز به فعالیت های آکادمیک و علمی در این حوزه وجود دارد. همانطور که می دانید ارتباط مناسبی بین صنعت و دانشگاه در کشور ما وجود ندارد و توسعه موتورجستجوی بومی نیازمند همکاری تناتنگ حداقل یک دانشگاه و یک شرکت خصوصی است. برای توسعه موتورجستجوی بومی نیاز است که پرسوجوهای کاربران تحلیل گردیده و مفاهیم کلمات از داخل آنها استخراج شود، کلمات کلیدی مترادف شناسایی شوند و همچنین معنا و مفهوم متون فارسی مشخص گردد. از سوی دیگر کپی بودن متن ها، کلمات همنویسه مانند ببر (که سه حالت مختلف خوانده می شود و معنای متفاوتی دارند: بِبُر، بَبر، بِبَر) و یا کلمات همخوان مانند شیر (که سه معنای مختلف دارد) را شناسایی کرده و مفهوم متون مختلف را درک کند. بنابراین نیاز است که از سیستم یادگیری ماشینی و روش های مختلف هوش مصنوعی مانند پردازش زبان طبیعی در توسعه موتورجستجو استفاده شود. همچنین الگوریتم های هوشمند برای رتبه بندی صفحات با کیفیت و جلوگیری از ایجاد هرزنامه و صفحات فریب آمیز باید توسعه یابند تا با وب سایت هایی که به صورت غیرطبیعی رفتار می کنند مقابله شود. همه این موارد نیازمند کار تحقیقاتی و علمی وسیعی است که شرکتهای نرم افزاری به تنهایی قادر به انجام آنها نیستند.
3. حفظ حریم شخصی کاربران
کاربران استفاده کننده، نگران حفظ حریم شخصی خود هستند و به همین دلیل ترجیح می دهند که از نمونه های غیرایرانی استفاده کنند. بنابراین باید برنامه مشخصی برای رفع دغدغه کاربران در این زمینه وجود داشته باشد و به آنها اطیمنان داده شود که اطلاعات شخصی و حریم شخصی آنها حفظ خواهد شد. این موضوع نیازمند قانون گذاری و فرهنگ سازی مناسب است.
4. منابع سخت افزاری
راه اندازی یک موتورجستجو علاوه بر طراحی ساختار و معماری نرم افزاری، به سخت افزارهای پیشرفته با منابع بالا هم نیاز ندارد. به همین جهت باید ساختار مناسب سخت افزاری برای توسعه موتورجستجوی بومی لحاظ گردد. اگر فرض کنیم که در حال حاضر حدود 200 هزار وب سایت فارسی فعال داریم و هر کدام از سایتها 1000 صفحه داشته باشند، موتور جستجو باید توانایی ذخیره سازی حداقل 200 میلیون صفحه اینترنتی و خزش کردن دورهای آنها را باید داشته باشد. علاوه بر اینکه ذخیره سازی محتوا و لینک های داخل این صفحات نیازمند فضای ذخیره سازی قابل توجهی است، به ازا هر یک از کلمات کلیدی که کاربران جستجو می کنند، موتورجستجو باید در پایگاه داده خود عملیات جستجو و رتبه بندی صفحات را انجام داده، آنها را بر اساس امتیاز مرتب سازی کرده و در کمتر از یک ثانیه به کاربر نمایش دهد. بنابراین منابع قابل توجهی برای پردازش داده ها و طبقه بندی آنها نیاز دارد.
موتور جستجوی گوگل، بیش از یک میلیون سرور قدرتمند برای پردازش جستجوهای کاربران در اختیار دارد. اگر فرض کنیم که موتورجستجوی بومی می تواند با 10 درصد ظرفیت گوگل فعالیت کند و هزینه هر سرور را تنها 50 میلیون تومان درنظر بگیریم، 5000 میلیارد تومان هزینه بابت خریداری سرورها نیاز است. (بدون در نظر گرفتن هزینه مکان، لوازم جانبی، پهنای باند و...)
5. توسعه نرم افزارهای پایه
در موتورهای جستجو شما با داده های عظیم کار می کنید و نمی توانید این نوع داده ها را از طریق نرم افزارهای عمومی و معمول ذخیره سازی کنید و یا اینکه عملیات جستجو را بر روی آنها انجام دهید. به همین خاطر نیاز است که از پایگاه داده های به اصطلاح nosql استفاده کنید و ساختار ایندکس گذاری مشخصی برای اطلاعات طراحی کنید. متخصصین نرم افزاری که توانایی توسعه چنین نرم افزارهایی را دارند باید از دانش بسیار بالایی برخوردار باشند و علاوه بر تخصص در حوزه نرم افزار اطلاعات آکادمیک بسیار بالایی داشته باشند. به همین دلیل پیاده سازی موتورجستجو نیازمند همکاری افراد با تخصص بسیار بالا در حوزه نرم افزار است.
نتیجه گیری: موتورجستجوی بومی
در نهایت باید به این نکته اشاره کرد که کشورهایی مانند روسیه، کره جنوبی، چین و جمهوری چک توانسته اند موتورهای جستجوی بومی داشته باشند و وجود موتورجستجوی بومی می تواند از جهاتی برای کشور مفید واقع شود. اما اجرا کردن آن نیازمند برنامه ریزی اصولی، فرهنگ سازی، سرمایه گذاری و استفاده از نیروهای متخصص است.
