როგორ შეფასდეს RAG მოძიება ბიზნესის ცოდნის ბაზაში | aiBRAIN

1. მოკლე პასუხი:RAG მოძიების შეფასება ამოწმებს, იპოვა თუ არა სისტემამ სწორ წყაროში შესაბამისი მონაკვეთი და იცის თუ არა, როდის უნდა შეჩერდეს. aiBRAIN-ის ამოცანის განხილვა დაიწყეთ წყაროების, მფლობელისა და გადაცემის მაგალითით.
2. მოძებნეთ შესაბამისი წყარო და პირობა.
3. დააფიქსირეთ მფლობელი ან ადამიანური გადაცემა.

ამ სტატიაში შემოთავაზებული RAG შეფასების ჩარჩო წყაროს მოძიებას, პასუხის პირობასა და უცნობი შემთხვევის ადამიანურ გადაცემას ცალ-ცალკე ამოწმებს; ეს არის სარედაქციო ტესტი და არა aiBRAIN-ის ავტომატურად ჩართული ფუნქციის დაპირება.

თუ წყაროში საჭირო ინფორმაცია არ არის, aiBRAIN-ის პასუხი პასუხისმგებელ ადამიანთან უნდა გადავიდეს, ნაცვლად იმისა, რომ დაუდასტურებელი ფაქტი დაემატოს.

რას ამოწმებს RAG შეფასება

Retrieval-augmented generation, ანუ RAG, ჯერ შესაბამის ინფორმაციას ეძებს და შემდეგ პასუხის ფორმირებას ეხმარება. ბიზნესის შეფასება ამ ორი ნაბიჯის ერთმანეთისგან გამოყოფით უნდა დაიწყოს. სწორი მონაკვეთის პოვნა არ ნიშნავს, რომ პასუხი სწორად ჩამოყალიბდა. ასევე, კარგი ფორმულირება ვერ გამოასწორებს მოძველებულ ან არასწორ წყაროს.

ტესტის ჩანაწერში მიუთითეთ შეკითხვა, მოსალოდნელი წყარო, ნაპოვნი მონაკვეთი, პასუხის შესაბამისობა და ის მიზეზი, რის გამოც კითხვა შეიძლება ადამიანს გადაეცეს.

როგორ მოამზადოთ შეფასების ნაკრები

1. დაწერეთ ჩვეულებრივი კითხვა, რომლის პასუხიც ერთ წყაროშია.
2. დაამატეთ სინონიმური ფორმულირება, რომ ძებნის მოქნილობა შემოწმდეს.
3. შექმენით კითხვა, რომელიც ორ ჩანაწერს შორის არჩევანს მოითხოვს.
4. დაამატეთ გამონაკლისი, რომლის პასუხიც არ არსებობს.
5. ჩაწერეთ სწორი მოქმედება თითოეულ შედეგზე.

ტესტები უნდა ეფუძნებოდეს ბიზნესის საკუთარ წყაროებს. დემო ტექსტით მიღებული პასუხი თქვენს რეალურ ცოდნის ბაზას ვერ ამტკიცებს.

შედარება: მოძიების შეფასება და საბოლოო პასუხის შეფასება

მოძიების შეფასება კითხულობს, იპოვა თუ არა სისტემამ საჭირო მასალა. საბოლოო პასუხის შეფასება ამოწმებს, სწორად გაიგო თუ არა ტექსტი, შეინარჩუნა თუ არა პირობა და არ დაამატა თუ არა ახალი ფაქტი. ორივე ეტაპი საჭიროა, რადგან ერთი ეტაპის კარგი შედეგი მეორეს არ ცვლის.

Google Cloud-ის ოფიციალური RAG განმარტება ამ განსხვავებას ტექნიკური თვალსაზრისით აჩვენებს. იგი არ იძლევა ბიზნესის პასუხების სიზუსტის გარანტიას.

რომელი მაჩვენებლები მიუთითებს პრობლემაზე

პრობლემა ჩანს მაშინ, როცა სისტემა ხშირად პოულობს ზოგად დოკუმენტს კონკრეტული ჩანაწერის ნაცვლად, არჩევს ისტორიულ ვერსიას, პასუხს წყაროს გარეშე აყალიბებს ან გამონაკლის კითხვას ჩვეულებრივ პასუხად აბრუნებს. თითოეული მაჩვენებელი ცალკე ჩაიწერეთ, რადგან გაუმჯობესების გზა განსხვავებულია.

თუ ჩანაწერი ვერ აკმაყოფილებს მფლობელის მიერ დადგენილ წესს, შეფასების შედეგი უნდა იყოს გადასაცემი კითხვა და არა ლამაზი ტექსტი.

შეფასების შედეგის წაკითხვა

შედეგების ცხრილში ერთმანეთს არ აურიოთ ნაპოვნი წყარო, პასუხის შესაბამისობა და ადამიანის გადაცემა. ერთი ტესტი შეიძლება სწორი წყაროს პოვნით დასრულდეს, მაგრამ ტექსტის არასწორი ინტერპრეტაციით ჩაითვალოს პრობლემურად. მეორე ტესტმა შეიძლება წყარო ვერ იპოვოს, თუმცა სწორედ ეს იყოს სწორი ქცევა, რადგან კითხვა დაუმტკიცებელ ფაქტს ეხება.

შეფასება დაგეხმარებათ შემდეგი ცვლილების არჩევაში: ზოგჯერ საჭიროა სათაურის ან ველის გაუმჯობესება, ზოგჯერ კი მფლობელის მიერ ახალი წესის დაწერა. შედეგი არ უნდა გადაიქცეს ბრენდის ან მოდელის ზოგად დაპირებად.

მოძიების შეფასების ფურცელში გაიმიჯნეთ ნაპოვნი წყარო, შესაბამისი მონაკვეთი, პასუხის ფორმა და გადაცემის შედეგი. ერთსა და იმავე კითხვას გამოიყენეთ ოფიციალური და ბუნებრივი ფორმით. შემდეგ დაამატეთ კითხვა, რომელზეც სწორი პასუხი არის გაურკვევლობის აღნიშვნა. თუ სისტემამ წყარო იპოვა, მაგრამ პირობა გამოტოვა, პრობლემა ფორმირებაშია; თუ წყარო ვერ იპოვა, პრობლემა შეიძლება კატალოგში ან სეგმენტში იყოს. ეს განსხვავება შემდეგი რედაქტირების არჩევას ამარტივებს.

ოთხი შედეგი, რომელიც არ უნდა აირიოს

RAG მოძიების შეფასებისას ცალკე დაინახეთ: შესაბამისი წყაროს პოვნა, საჭირო მონაკვეთის არჩევა, პასუხის პირობების შენარჩუნება და უცნობი შემთხვევის გადაცემა. ლამაზი საბოლოო ტექსტი ვერ გაასწორებს არასწორ წყაროს, ხოლო სწორი მონაკვეთი ვერ დაამტკიცებს, რომ ყველა მომდევნო კითხვა სწორად დამუშავდა.

• მოძიება: მოვიდა თუ არა ის ჩანაწერი, რომელიც კითხვას ეხება.
• მონაკვეთი: შეიცავდა თუ არა ფრაგმენტი პირობასა და გამონაკლისს.
• პასუხი: შეინარჩუნა თუ არა ტექსტმა წყაროს საზღვარი.
• გადაცემა: გაჩერდა თუ არა უცნობი ან სარისკო კითხვა სწორ ეტაპზე.

ტესტის ფურცელზე გამოიყენეთ ოფიციალური ფორმულირება, ბუნებრივი საუბრული კითხვა, კონფლიქტური კითხვა და კითხვა, რომელსაც წყაროში პასუხი არ აქვს. თითოეულზე შეინახეთ მოძიებული წყარო, საკმარისი მონაკვეთი, პასუხის სტატუსი და შემდეგი მოქმედება. ერთი საერთო „სიზუსტის“ ქულა ამ განსხვავებებს დაფარავს.

შედეგი გაუმჯობესების გზასაც უნდა მიუთითებდეს. თუ წყარო ვერ მოიძებნა, შეიძლება სათაური ან ველი იყოს შესაცვლელი; თუ წყარო სწორია, მაგრამ პასუხი ამახინჯებს პირობას, ტექსტის წესს ან ადამიანის გადაცემას გადახედვა სჭირდება. ადგილობრივი ტესტის ნაკრები მხოლოდ იმ სცენარებს ამოწმებს, რომლებიც მასში შევიტანეთ.

შეფასების ჟურნალში მიუთითეთ, რომელ ეტაპზე გაჩნდა ხარვეზი. არასწორი დოკუმენტი, სწორი დოკუმენტიდან არასწორი მონაკვეთი და სწორი წყაროს არასწორი გადმოცემა სხვადასხვა რემონტს მოითხოვს. უცნობი კითხვა ცალკე დადებით შედეგს წარმოადგენს, როცა პასუხი უსაფრთხოდ ჩერდება და შემდეგ პასუხისმგებელს აჩვენებს. ასეთი ჩანაწერები გეხმარებათ გაუმჯობესების პრიორიტეტში, მაგრამ პატარა სატესტო ნაკრები მთლიან სისტემაზე დასკვნას ვერ ავრცელებს.

შეზღუდვები: ტესტის ნაკრები რეალურ შედეგს არ ცვლის

ლოკალური ტესტები ხარისხის კონტროლის ინსტრუმენტია და არა კლიენტური შედეგის მტკიცებულება. წყაროს განახლებისას ტესტები ხელახლა უნდა გადაიხედოს. aiBRAIN-ის საჯარო ფაქტები აღწერს ცოდნისა და კონტროლის ფენას, თუმცა არ აცხადებს კონკრეტულ RAG სიზუსტეს ან მუდმივ შესრულებას.

შეფასების პაკეტის განხილვა დაიწყეთ aiBRAIN-ის საკონტაქტო ფორმით და მოიტანეთ კითხვები, წყაროები და სასურველი გადაცემის პირობები.

ხშირად დასმული კითხვები

ერთი სწორი პასუხი საკმარისია?

ერთი მაგალითი მხოლოდ ერთ შემთხვევას ამოწმებს. დაამატეთ სინონიმი, გამონაკლისი და კონფლიქტური წყარო.

RAG მოძიება პასუხის სიმართლეს ნიშნავს?

არა. მოძიება წყაროს პოვნას ამოწმებს, პასუხის შინაარსი და ადამიანთან გადაცემა ცალკე უნდა შეფასდეს.

დაკავშირებული პროდუქტის გზები

RAG შეფასების განხილვა, ინტეგრაციები, AI ჩატბოტები და უსაფრთხოება

Google Cloud-ის მოძიებაზე დაფუძნებული პასუხის გზამკვლევი, OWASP-ის LLM რისკების წყარო და NIST-ის AI რისკების მართვის ჩარჩო გამოყენებულია ამ სტატიის ზოგადი პრინციპების დასამოწმებლად.

ეს არის AI-ის დახმარებით მომზადებული სამუშაო სტატია; დამოუკიდებელი ადამიანური სარედაქციო შემოწმება ჯერ არ დასრულებულა.