برای پردازش زبان طبیعی به ابزارهایی نیاز است که پیش پردازش های اولیه را انجام دهند تا داده های جمع آوری شده وارد فرآیند پردازش اصلی مورد نیاز سیستم بشوند. هدف از بکارگیری این ابزارها افزایش سرعت پردازش و بهبود صحت نتایج خروجی است. عنوان کلی ابزارها مورد نیاز برای پردازش متن در ادامه تقدیم می گردد. در پست های آینده با تک تک این ابزارها و کاربرد هر یک آشنا خواهید شد.
عناوین ابزارهای پردازش متن:
- پارسر
- یکسان ساز
- تشخیص دهنده جمله
- تشخیص دهنده واژه
- ریشه یاب
- تشخیص دهنده اسامی
- برچسب گذار واژه و معنا
- مجموعه واژگان
